Московский государственный технический университет им. Н.Э. Баумана
____________________________________________________________

А.И.Орлов
 
Организационно-экономическое
моделирование

В трех частях

Часть 3

Статистические методы анализа данных

Допущено Учебно-методическим объединением вузов 
по университетскому политехническому образованию 
в качестве учебника для студентов высших учебных заведений,
 обучающихся по направлению «Организация и управление наукоемкими производствами» специальности «Менеджмент высоких технологий»

Издательство МГТУ им.Н.Э. Баумана
Москва 2010

Рецензенты:
кафедра «Системы управления экономическими объектами» 
Московского государственного авиационного института
 - технического университета (заведующий кафедрой, доктор экономических наук, профессор В.Д. Калачанов),
заместитель директора Института проблем управления РАН 
член-корреспондент РАН доктор технических наук Д.А. Новиков

Орлов А.И.
	Организационно-экономическое моделирование : учебник : в 3 ч.. / А.И.Орлов. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2010.  

	Ч. 3 : Статистические методы анализа данных. – 2010. – ХХХ с.

	Учебник посвящен современным методам анализа статистических данных. В первой части рассмотрены начала выборочных исследований и основные задачи описания данных, оценивания и проверки гипотез. Статистические методы анализа числовых данных, многомерный статистический анализ и статистические методы анализа динамики обсуждаются во второй части с непараметрической точки зрения; основные понятия теории статистического моделирования - в третьей части на примерах моделей экономики и управления (управления качеством, логистики, взаимовлияния факторов), экспертных исследований, медицины, социологии, демографии, истории, электротехники. Теоретическим инструментам, истории и перспективам развития статистических методов посвящена четвертая часть. Изложение соответствует рекомендациям Российской академии статистических методов.
	Материал учебника соответствует курсам лекций, которые автор читает в МГТУ им. Н.Э. Баумана.
	Для студентов и преподавателей вузов, слушателей институтов повышения квалификации, структур второго образования и программ МВА («Мастер делового администрирования»), инженеров различных специальностей, менеджеров, экономистов, социологов, научных и практических работников, связанных с анализом данных.

Содержание

Предисловие……………………………………………………………..10 

Введение. Статистические методы анализа данных 
как область научно-практической деятельности…….……………22
Литература…..…………………………………………………………..34

Часть 1. Основные постановки задач анализа данных

Глава 1. Выборочные исследования…………………………………36
1.1. Организация выборочных исследований………………………….36
1.2. Модели случайных выборок……………………………………….47
1.3. Доверительное оценивание доли…………………………………..51
1.4. Два прикладных выборочных исследования……………………...57
1.5. Проверка однородности двух биномиальных выборок…………..65
Литература……………………………………………………………….72
Контрольные вопросы и задачи………………………………………...73
Темы докладов, рефератов, исследовательских работ………………..74

Глава 2. Описание данных……………………………………………75
2.1. Модели порождения данных……………………………………….75
2.2. Таблицы и диаграммы………………………………………………87
2.3. Выборочные характеристики распределения……………………..90
2.4. Эмпирическая функция распределения…………………………...94
2.5. Непараметрические оценки плотности……………………………98
Литература……………………………………………………………...104
Контрольные вопросы и задачи……………………………………….105
Темы докладов, рефератов, исследовательских работ………………106

Глава 3. Оценивание………………………………………………….108
3.1. Методы оценивания параметров………………………………….108
3.2. Одношаговые оценки……………………………………………...122
3.3. Асимптотика решений экстремальных статистических задач….133
3.4. Робастность статистических процедур…………………………..142
3.5. Оценивание для сгруппированных данных……………………...147
Литература……………………………………………………………...159
Контрольные вопросы и задачи……………………………………….160
Темы докладов, рефератов, исследовательских работ………………161

Глава 4. Проверка гипотез…………………………………………..162
4.1. Метод моментов проверки гипотез………………………………162
4.2. Неустойчивость параметрических методов отбраковки 
выбросов...................................................................................................168
4.3. Предельная теория непараметрических критериев……………...175
4.4. Метод проверки гипотез по совокупности малых выборок…….190
4.5. Проблема множественных проверок статистических гипотез…202
Литература……………………………………………………...………211
Контрольные вопросы и задачи……………………………………….211
Темы докладов, рефератов, исследовательских работ………………212

Часть 2. Конкретные статистические методы 

Глава 5. Статистические методы анализа числовых выборок…213
5.1. Оценивание основных характеристик распределения…………..213
5.2. Методы проверки однородности характеристик двух 
независимых выборок………………………………………………….227
5.3. Двухвыборочный критерий Вилкоксона…………………………240
5.4. Состоятельные критерии проверки однородности 
независимых выборок………………………………………………….256
5.5. Методы проверки однородности связанных выборок…………..260
5.6. Проверка гипотезы симметрии…………………………………...267
5.7. Реальные и номинальные уровни значимости в задачах 
проверки статистических гипотез……………………………………..272
Литература……………………………………………………………...280
Контрольные вопросы и задачи……………………………………….281
Темы докладов, рефератов, исследовательских работ………………283

Глава 6. Многомерный статистический анализ………………….285
6.1. Коэффициенты корреляции……………………………………….285
6.2. Восстановление линейной зависимости между двумя 
переменными…………………………………………………………...289
6.3. Основы линейного регрессионного анализа……………………..300
6.4. Статистические методы классификации…………………………320
6.5. Методы снижения размерности…………………………………..346
6.6. Индексы и их применение………………………………………...354
Литература……………………………………………………………...364
Контрольные вопросы и задачи……………………………………….365
Темы докладов, рефератов, исследовательских работ………………368

Глава 7. Статистические методы анализа динамики……………369
7.1. Методы анализа и прогнозирования временных рядов…………369
7.2. Системы эконометрических уравнений………………………….373
7.3. Оценивание длины периода и периодической составляющей….376
Литература……………………………………………………………...390
Контрольные вопросы и задачи…..…………………………………...391
Темы докладов, рефератов, исследовательских работ………………392

Часть 3. Вероятностно-статистическое моделирование

Глава 8. Основы вероятностно-статистического 
моделирования…..…………………………………………………….393
8.1. Основные понятия теории статистического моделирования…...393
8.2. Демографические модели…………………………………………406
8.3. Статистические модели движения товарных потоков…………..426
8.4. Статистические модели в истории………………………………..465
8.5. Вероятностно-статистическое моделирование помех, 
создаваемых электровозами…………………………………………...492
Литература…………………………..………………………………….502
Контрольные вопросы и задачи……………………………………….503
Темы докладов, рефератов, исследовательских работ………………504

Глава 9. Статистические модели динамики………………………506
9.1. Метод ЖОК оценки результатов взаимовлияний факторов
9.2. Система моделей налогообложения
9.3. Моделирование и анализ многомерных временных рядов
9.4. Балансовые соотношения в системе ЖОК
Литература
Контрольные вопросы
Темы докладов, рефератов, исследовательских работ

Глава 10. Статистические модели управления качеством
10.1. Основы статистического контроля качества
10.2. Асимптотическая теория одноступенчатых планов 
10.3. Практическое применение статистического контроля 
10.4. Статистические методы управления качеством
10.5. Обнаружение разладки с помощью контрольных карт
Литература
Контрольные вопросы и задачи
Темы докладов, рефератов, исследовательских работ
 
Глава 11. Статистические модели экспертных исследований
11.1. Примеры процедур экспертных оценок  
11.2. Основные стадии экспертного опроса 
11.3. Теория измерений и средние величины
11.4. Методы средних баллов 
11.5. Метод согласования кластеризованных ранжировок 
11.6. Математические методы анализа экспертных оценок 
Литература
Контрольные вопросы и задачи
Темы докладов, рефератов, исследовательских работ

Глава 12. Статистические модели в медицине
12.1. Новое компьютерно-статистическое мышление врача
12.2. Методы «доказательной медицины»
12.3. Медико-статистические технологии
12.4. Высокие статистические технологии в научных медицинских исследованиях
Литература
Контрольные вопросы и задачи
Темы докладов, рефератов, исследовательских работ

Глава 13. Статистические методы в социологии 
13.1. Развитие статистического инструментария социологов
13.2. Перспективы применения люсианов в социологии
13.3. Асимптотика квантования и выбор числа градаций в социологических анкетах
13.4. Социометрическое исследование – инструмент менеджера
13.5. Статистические методы в выборочных исследованиях научных организаций
13.6. Статистические методы в изучении способных к математике школьников
Литература
Контрольные вопросы 
Темы докладов, рефератов, исследовательских работ

Часть 4. Инструменты, история и перспективы 
статистических методов

Глава 14. Теоретические инструменты статистических методов
14.1. Законы больших чисел 
14.2. Центральные предельные теоремы
14.3. Теоремы о наследовании сходимости
14.4. Метод линеаризации
14.5. Принцип инвариантности 
14.6. Устойчивость выводов и принцип уравнивания погрешностей 
Литература
Контрольные вопросы и задачи
Темы докладов, рефератов, исследовательских работ

Глава 15. О развитии статистических методов 
15.1. Основные этапы становления статистических методов
15.2. Статистические методы в России 
15.3. Дискуссия о прикладной статистике
Литература
Контрольные вопросы
Темы докладов, рефератов, исследовательских работ

Глава 16. Современные статистические методы 
16.1. Точки роста
16.2. Высокие статистические технологии
16.3. Компьютерно-статистические методы
16.4. О методологии статистических методов
16.5. Основные нерешенные проблемы статистических методов  
Литература
Контрольные вопросы
Темы докладов, рефератов, исследовательских работ

Об авторе этой книги 

Рисунки к главе 10.

Рисунки к главе 12

Предисловие 

	Статистические методы анализа данных активно применяются в технических исследованиях, экономике, теории и практике управления (менеджменте), социологии, медицине, геологии, истории и т.д. С результатами наблюдений, измерений, испытаний, опытов, с их анализом имеют дело специалисты во всех отраслях практической деятельности, почти во всех областях теоретических исследований. Настоящий учебник позволяет овладеть современными статистическими методами на уровне, достаточном для использования этих методов в научной и практической деятельности. 
	Содержание книги. Учебник состоит из введения и четырех частей, разбитых на 16 глав. Во введении обсуждается внутренняя структура статистических методов анализа данных – развитой области научно-практической деятельности.
	Часть 1 посвящена основным постановкам задач анализа данных – методам выборочных исследований, описания данных, оценивания и проверки гипотез. В главе 1 обсуждаются проблемы организации выборочных исследований на примере двух конкретных маркетинговых опросов. Разработаны модели случайных выборок, в том числе гипергеометрическая и биномиальная, методы доверительного оценивания доли и проверки однородности двух биномиальных выборок.
	В главе 2 обсуждаются модели порождения данных, методы их описания с помощью таблиц и диаграмм, выборочных характеристик и эмпирической функции распределения, непараметрических оценок плотности (в пространствах произвольной природы). Показано, что распределение результатов наблюдений (испытаний, испытаний, анализов, опытов), как правило, отличается от нормального. Как следствие, в учебнике большое внимание уделено непараметрическим методам анализа статистических данных. 
	Глава 3 посвящена методам оценивания параметров и характеристик. Разработаны и изучены одношаговые оценки для замены устаревших оценок максимального правдоподобия. Исследована асимптотика решений экстремальных статистических задач и устойчивость (робастность) статистических процедур. Оценивание для сгруппированных данных построено на основе современных вариантов формулы Эйлера-Маклорена и поправок Шеппарда.
	Для проверки гипотез в главе 4 разработан метод моментов, реализованный на примере гипотезы согласия с гамма-распределением. Продемонстрирована крайняя неустойчивость параметрических методов отбраковки выбросов, приводящая к выводу о невозможности их научно обоснованного использования. Построена предельная теория непараметрических критериев, опирающаяся на метод приближения ступенчатыми функциями. Разработан метод проверки гипотез по совокупности малых выборок для применения в асимптотике растущей размерности, когда число неизвестных параметров растет вместе с объемом данных. Обсуждается проблема множественных проверок статистических гипотез, актуальная при разработке высоких статистических технологий анализа данных.
	В части 2 рассматриваются конкретные статистические методы анализа данных различных типов. В главе 5 элементы выборки – это числа. Разобраны методы точечного и доверительного непараметрического оценивания основных характеристик распределения – математического ожидания, медианы, дисперсии, среднего квадратического отклонения, коэффициента вариации. Рассмотрены методы проверки однородности характеристик двух независимых выборок, обоснована необходимость использования непараметрического критерия Крамера-Уэлча вместо статистики Стьюдента, опирающейся на нереалистические предположения нормальности результатов измерений и совпадения дисперсий элементов двух выборок. Изучены свойства двухвыборочного критерия Вилкоксона, обосновано использование состоятельных критериев проверки однородности независимых выборок. Разработаны методы проверки однородности связанных выборок, в том числе на основе критериев проверки гипотезы симметрии. Обсуждается взаимосвязь реальных и номинальных уровней значимости в задачах проверки статистических гипотез.
	Глава 6 посвящена основным постановкам многомерного статистического анализа. Рассмотрены линейный (Пирсона) и непараметрические (Спирмена, Кендалла) коэффициенты парной корреляции. Обсуждается задача восстановления линейной зависимости между двумя переменными на основе непараметрического метода наименьших квадратов. Рассмотрены основы линейного регрессионного анализа, статистических методов классификации и методов снижения размерности. В конце главы 6 разобран индекс инфляции и его применения, в частности, при анализе уровня жизни и доходности банковских вкладов.
	Статистические методы анализа динамики обсуждаются в главе 7, в том числе методы анализа и прогнозирования временных рядов и системы эконометрических уравнений. В учебник включены оригинальные подходы к оцениванию длины периода и периодической составляющей сигналов.
	Статистические методы анализа нечисловых и интервальных данных не включены в часть 3 настоящего учебника. Они рассмотрены в части 1 (Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.), а в сокращенном виде – в иных изданиях, в частности, в выпущенных издательством «Экзамен» наших учебниках «Эконометрика» (2002, 2003, 2004), «Прикладная статистика» (2006) и «Теория принятия решений» (2006), в четвертом издании «Эконометрики», опубликованном издательством «Феникс» в 2009 г.
	Наибольшая по объему часть 3, включающая 6 глав, посвящена вероятностно-статистическому моделированию в различных областях применения. В главе 8 рассмотрены: основные понятия теории статистического моделирования; демографические модели; статистические модели движения товарных потоков в процессе работы склада (в другой терминологии – модели логистики); статистическое моделирование исторических процессов, позволившее существенно уточнить хронологию древнего мира и средневековья; вероятностно-статистическое моделирование помех, создаваемых электровозами, с целью сокращения расходов на защиту проводных линий связи.
	В главе 9 описан подход к моделированию взаимовлияний факторов методом ЖОК (название составлено из первых букв фамилий исследователей: Жихарев – Орлов – Кольцов). На основе этого метода разработана система моделей налогообложения и проанализированы макроэкономические балансовые соотношения. Рассмотрена эконометрическая база метода - моделирование и анализ многомерных временных рядов. 
	Статистические модели управления качеством – предмет обсуждения в главе 10. От основ статистического контроля качества переходим к асимптотической теории одноступенчатых планов, а затем – к практическому применению статистического контроля. Рассмотрен весь комплекс статистических методов управления качеством, в том числе методы обнаружения разладки с помощью контрольных карт, весьма актуальные не только для организации производства, но и в менеджменте.
	В главе 11 речь идет о статистическом моделировании в экспертных исследованиях. Приведены примеры процедур экспертных оценок, выделены основные стадии экспертного опроса. Для построения математической теории экспертных технологий важна общенаучная теория измерений. В качестве примера ее применения получены правила выбора вида средних величин в зависимости от типов шкал, в которых измерены ответы экспертов. Обсуждается использование методов средних арифметических и медиан баллов в сочетании с процедурами согласования кластеризованных ранжировок. Рассмотрены математические методы анализа экспертных оценок, в частности, расстояние Кемени и медиана Кемени в пространствах бинарных отношений. 
	Рассказ о статистических моделях в медицине (глава 12) начинается с обсуждения нового компьютерно-статистического мышления врача, основанного на методах «доказательной медицины». Рассмотрены: применение медико-статистических технологий в научных медицинских исследованиях; проблемы внедрения высоких статистических технологий.
	Завершаем часть 3 обсуждением статистических методов в социологии (глава 13). Проанализировано развитие статистического инструментария отечественных социологов за последние 30 лет. Подробнее обсуждаются некоторые математические методы в социологии - перспективы применения люсианов, асимптотика квантования и выбор числа градаций в социологических анкетах. Рассмотрен ряд практических применений статистических методов в социологии – в социометрических исследованиях, рассматриваемых как эффективный инструмент менеджера, в выборочных исследованиях научных организаций, в изучении способных к математике школьников.
	Заключительная часть 4 посвящена инструментам, истории и перспективам развития статистических методов. В главе 14 кратко рассмотрены такие теоретические инструменты статистических методов, постоянно используемые в предыдущих главах учебника, как законы больших чисел, центральные предельные теоремы, теоремы о наследовании сходимости, метод линеаризации, принцип инвариантности. В конце главы рассмотрены проблемы устойчивости статистических выводов и принцип уравнивания погрешностей. 
	О развитии статистических методов кратко рассказываем в главе 15. Обсуждаются основные этапы становления статистических методов (от Книги Чисел в Библии до наших дней). Статистические методы в России рассмотрены на примерах исследований А.Н. Колмогорова, Б.В.Гнеденко, Н.В. Смирнова, Л.Н. Большева, В.В. Налимова. Завершается глава рассказом о дискуссии 80-х гг., посвященной предмету и содержанию прикладной статистики.
	В завершающей книгу главе 16 речь идет о современных статистических методах и перспективах их развития. Выделены «точки роста» рассматриваемой научно-практической дисциплины. Введено понятие «высокие статистические технологии» и обоснована необходимость их развития. Обсуждается использование информационных технологий при анализе статистических данных, рассмотрены современные компьютерно-статистические методы. Дано представление о методологии статистических методов. Сформулированы основные нерешенные проблемы статистических методов. 
	В конце каждой главы приведен список процитированных литературных источников, контрольные вопросы и задачи, а также темы докладов, рефератов, исследовательских работ. Нумерация таблиц, рисунков, формул, теорем, примеров дана по главам (теорема 3.1 – это теорема 1 главы 3).
	Автор настоящего учебника около 40 лет постоянно занимается статистическими методами. Как практик и как теоретик. В учебник включены полученные им теоретические и практические результаты, как достаточно давние (70-х гг.), так и полученные в последние годы. Заинтересованные читатели проследят их по литературным ссылкам, которые пригодятся и для углубленного изучения материала. В конце учебника помещена краткая информация о деятельности автора как научного работника и преподавателя, о ранее выпущенных им монографиях, учебниках, учебных пособиях.
	Общее количество статей и книг по статистическим методам давно превысило 106, из них актуальными к настоящему времени являются, по нашей оценке, не менее 105. Конкретный специалист может овладеть несколькими тысячами из них. Следовательно, ни один исследователь не может претендовать на знакомство более чем с 2–3% актуальных публикаций, и в любом учебнике содержится лишь небольшая часть знаний, накопленных в области разработки и применения статистических методов. Однако автор надеется, что наиболее важные подходы, идеи, результаты и алгоритмы расчетов включены в учебник. Эта надежда основана на собственном сорокалетнем опыте теоретической и практической работы в области статистических методов, на совокупном опыте членов научных сообществ, скрупулезном анализе положения в нашей научно-прикладной дисциплине при создании Всесоюзной статистической ассоциации, Российской ассоциации статистических методов и Российской академии статистических методов. 
	В отличие от учебной литературы по математическим дисциплинам, в настоящей книге практически отсутствуют доказательства. Однако в нескольких случаях мы сочли целесообразным их привести. При первом чтении доказательства теорем можно пропустить. 
	О роли литературных ссылок в учебнике необходимо сказать достаточно подробно. Эта книга - замкнутый текст, не требующий для своего понимания ничего, кроме знания стандартных учебных курсов по высшей математике (включая теорию вероятностей и математическую статистику), которые преподаются студентам большинства вузов на первом и втором году обучения. Зачем же нужны ссылки? Доказательства всех приведенных в учебнике теорем приведены в ранее опубликованных статьях и монографиях. Читатель при подготовке рефератов и при желании глубже проникнуть в материал учебника может обратиться к спискам цитированной литературы. Каждая глава учебника — это введение в большую область статистических методов. Приведенные литературные ссылки помогут читателям выйти на передний край теоретических и прикладных работ, познакомиться с доказательствами теорем, включенных в учебник. За многие десятилетия накопились большие книжные богатства, и их надо активно использовать. 
	Включенные в учебник материалы прошли многолетнюю и всестороннюю проверку. Кроме МГТУ им. Н.Э. Баумана, они использовались при преподавании во многих других отечественных и зарубежных образовательных структурах. 
	Учебник включаем в серию книг по организационно-экономическому моделированию и высоким статистическим технологиям. В нем рассмотрены современные методы анализа данных, соответствующие последним научным достижениям отечественной вероятностно-статистической школы. Учебник подготовлен в рамках выполнения инновационной образовательной программы «Менеджмент высоких технологий» МГТУ им. Н.Э. Баумана. Отметим, что субъективные экспертные данные нет оснований противопоставлять объективным результатам измерений (наблюдений, испытаний, анализов, опытов), поскольку для их описания и анализа используются одни и те же вероятностно-статистические методы и модели. 
	Для кого написан учебник? Он предназначен для студентов и аспирантов различных специальностей, прежде всего технических, управленческих и экономических, слушателей институтов повышения квалификации, структур послевузовского (в том числе второго) образования, в частности, программ МВА («Мастер делового администрирования»), преподавателей вузов, сотрудников научно-исследовательских организаций и подразделений. Для автора базовыми являются специальности 220701 – «Менеджмент высоких технологий» - и 080507 – «Менеджмент организации». Материал учебника соответствует курсам лекций, которые автор читает в МГТУ им. Н.Э. Баумана для различных категорий студентов и слушателей.
	Учебник будет полезен инженерам, менеджерам, экономистам, социологам, биологам, медикам, психологам, историкам, другим специалистам, самостоятельно повышающим свой научный уровень. То есть всем научным и практическим работникам, имеющим отношение к анализу данных.
	Учебник может быть использован при изучении дисциплин, полностью или частично посвященных методам анализа результатов наблюдений (измерений, испытаний, опытов). Типовые названия таких дисциплин — «Организационно-экономическое моделирование», «Статистические методы», «Прикладная статистика», «Эконометрика», «Методы анализа данных», «Многомерный статистический анализ», «Общая теория статистики», «Планирование эксперимента», «Биометрика», «Теория принятия решений», «Управленческие решения», «Экономико-математическое моделирование», «Математические методы прогнозирования», «Прогнозирование и технико-экономическое планирование», «Хемометрия», «Математические методы в экономике», «Маркетинговые исследования», «Математические методы оценки», «Математические методы в социологии», «Математические методы в геологии» и т.п.
	Математикам - специалистам по теории вероятностей и математической статистике - эта книга также может быть интересна и полезна. В ней описан современный взгляд на статистические методы и прикладную математическую статистику, основные подходы и результаты в этой области, открывающие большой простор для дальнейших математических исследований.
	Благодарности. Книга написана в традициях отечественной вероятностно-статистической школы. Начало её современному этапу развития положил академик АН СССР А.Н. Колмогоров, а в области математической статистики – член-корреспондент АН СССР Н.В. Смирнов. Автор искренне благодарен своим учителям - академику АН УССР Б.Г. Гнеденко, члену-корреспонденту АН СССР Л.Н. Большеву, проф. В.В. Налимову. 
	Содержание учебника в своих основных чертах соответствует коллективному мнению отечественных специалистов. В 1990 г. была создана Всесоюзная статистическая ассоциация (ВСА), состоящая из четырех секций. Руководитель секции статистических методов А.И. Орлов был избран вице-президентом ВСА. В XXI в. развитие прикладной статистики продолжается в рамках Российской ассоциации статистических методов и Российской академии статистических методов. Автор искренне благодарен своим многочисленным коллегам, с которыми посчастливилось вместе работать в рамках наших профессиональных объединений.  
	По ряду причин исторического характера основное место публикаций научных работ по статистическим методам в нашей стране — раздел «Математические методы исследования» журнала «Заводская лаборатория», в котором напечатано более 60 научных статей автора, большинство из которых нашло отражение в настоящем учебнике. Искренне благодарен сотрудникам редакции, членам редколлегии и секции «Математические методы исследования».
	Выражаю признательность всему коллективу кафедры «Экономика и организация производства» и в целом научно-учебного комплекса «Инженерный бизнес и менеджмент» Московского государственного технического университета им. Н.Э. Баумана, декану и членам Ученого совета, поддержавшим инициативу о введении статистических методов в учебный процесс. Автор искренне признателен заведующему кафедрой «Экономика и организация производства» проф. С.Г. Фалько за постоянную поддержку проектов по разработке и внедрению организационно-экономических, эконометрических и статистических курсов, декану проф. И.Н. Омельченко и заведующему кафедрой «Промышленная логистика» проф. А.А. Колобову за совместные научные исследования. 
	Автор благодарен своим многочисленным коллегам, слушателям и студентам, прежде всего различных образовательных структур Московского государственного технического университета им. Н.Э.Баумана, Московского физико-технического института, Российской экономической академии им. Г.В. Плеханова и Академии народного хозяйства при Правительстве Российской Федерации (программа «Топ-Менеджер»), за полезные обсуждения. Особая благодарность – участникам научных конференций и семинаров, коллегам по работе в Лаборатории экономико-математических методов в контроллинге, Институте высоких статистических технологий и эконометрики МГТУ им. Н.Э. Баумана, Российской ассоциации статистических методов и Российской академии статистических методов.
	Спасибо рецензентам – сотрудникам кафедры «Системы управления экономическими объектами» Московского государственного авиационного института - технического университета (заведующий кафедрой проф., д.э.н. В.Д. Калачанов) и заместителю директора Института проблем управления РАН, члену-корреспонденту РАН проф., д.т.н. Д.А. Новикову. 
	Автор благодарен научному редактору В.И. Осипову, всем сотрудникам издательства за поддержку нашего научного направления и большую работу по подготовке рукописи к изданию.
	С текущей научной информацией по теории и практике статистических методов анализа данных можно познакомиться на сайте «Высокие статистические технологии» http://orlovs.pp.ru и его форуме http://forum.orlovs.pp.ru/, а также на странице Лаборатории экономико-математических методов в контроллинге http://www.ibm.bmstu.ru/nil/lab.html (на сайте научно-учебного комплекса «Инженерный бизнес и менеджмент» Московского государственного технического университета им. Н.Э. Баумана). Достаточно большой объем информации содержит еженедельник «Эконометрика», выпускаемый с июля 2000 г. (http://subscribe.ru/catalog/science.humanity.econometrika ). Автор искренне благодарен своему сыну А.А. Орлову, разработчику и администратору сайта, редактору еженедельника за многолетний энтузиазм.
	Условия для написания книги создала моя любимая жена Л.А. Орлова. Спасибо!
	Включенный в учебник материал дает представление о теории и практике статистических методов анализа данных, соответствующее общепринятому в мире. Изложение доведено до современного уровня научных исследований в этой области. Конечно, возможны различные точки зрения по тем или иным частным вопросам. Автор будет благодарен читателям, если они сообщат свои вопросы и замечания по адресу издательства или непосредственно автору по электронной почте Е-mail: prof-orlov@mail.ru. 

Введение. Статистические методы анализа данных 
как область научно-практической деятельности

	Статистические методы анализа данных применяются практически во всех областях деятельности человека. Их используют, когда необходимо получить и обосновать какие-либо суждения о группе (объектов или субъектов) с некоторой внутренней неоднородностью. 
	Целесообразно выделить три вида научной и прикладной деятельности в области статистических методов анализа данных (по степени специфичности методов, сопряженной с погруженностью в конкретные проблемы): 
	а) разработка и исследование методов общего назначения, без учета специфики области применения;
	б) разработка и исследование статистических моделей реальных явлений и процессов в соответствии с потребностями той или иной предметной области деятельности;
	в) применение статистических методов и моделей для статистического анализа конкретных данных. 
	Кратко рассмотрим три только что выделенных вида научной и прикладной деятельности. По мере движения от а) к в) сужается широта области применения конкретного статистического метода, но при этом повышается его значение для анализа конкретной ситуации. Если работам вида а) соответствуют научные результаты, значимость которых оценивается по общенаучным критериям, то для работ вида в) основное - успешное решение конкретных задач той или иной области применения (техники и технологии, экономики, социологии, медицины и др.). Работы вида б) занимают промежуточное положение, поскольку, с одной стороны, теоретическое изучение свойств статистических методов и моделей, предназначенных для определенной области применения, может быть весьма сложным и математизированным, с другой - результаты представляют не всеобщий интерес, а лишь для некоторой группы специалистов. Можно сказать, что работы вида б) нацелены на решение типовых задач конкретной области применения.
	Прикладная статистика. Статистические методы анализа данных, относящиеся к группе а), обычно называют методами прикладной статистики. Таким образом, прикладная статистика – это наука о том, как обрабатывать данные произвольной природы, без учета их специфики [1]. 
	Математическая основа прикладной статистики и статистических методов анализа данных в целом – это математическая наука, известная под названием «теория вероятностей и математическая статистика». Прикладная статистика - другая область знаний, чем математическая статистика. Это очень четко проявляется в процессе обучения. Курс математической статистики состоит в основном из доказательств теорем, тогда как в курсах статистических методов главное - методология анализа данных и алгоритмы расчетов, а теоремы приводятся для обоснования этих алгоритмов, доказательства же, как правило, опускаются (их можно найти в научной литературе). Так построен и настоящий учебник. 
	Прикладная статистика – одна из статистических наук, она не относится к математике. Внутренняя структура статистики как науки была выявлена и обоснована при создании в 1990 г. Всесоюзной статистической ассоциации. Прикладная статистика - методическая дисциплина, являющаяся центром, идейным ядром статистики. Внутри прикладной статистики выделяют задачи описания данных, оценивания и проверки гипотез, рассмотренные в части 1 настоящего учебника. 
	Описание вида данных и, при необходимости, механизма их порождения – начало любого статистического исследования. Для описания данных применяют как детерминированные, так и вероятностные методы. С помощью детерминированных методов можно проанализировать только те данные, которые имеются в распоряжении исследователя. Например, с их помощью получены таблицы, рассчитанные органами официальной государственной статистики на основе представленных предприятиями и организациями статистических отчетов. Перенести полученные результаты на более широкую совокупность, использовать их для предсказания и управления можно лишь на основе вероятностно-статистического моделирования. Поэтому в математическую статистику иногда включают лишь методы, опирающиеся на теорию вероятностей, оставляя детерминированные методы экономической учебной дисциплине «Общая теория статистики». 
	Мы не считаем возможным противопоставлять детерминированные и вероятностно-статистические методы. Мы рассматриваем их как последовательные этапы статистического анализа. На первом этапе необходимо проанализировать имеющие данные, представить их в удобном для восприятия виде с помощью таблиц и диаграмм. Затем статистические данные целесообразно изучить на основе тех или иных вероятностно-статистических моделей. Возможность более глубокого проникновения в суть реального явления или процесса обеспечивается разработкой адекватной математической модели.
	В простейшей ситуации статистические данные – это значения некоторого признака, свойственного изучаемым объектам. Значения могут быть количественными или представлять собой указание на категорию, к которой можно отнести объект. Во втором случае говорят о качественном признаке.
	При измерении по нескольким количественным или качественным признакам в качестве статистических данных об объекте получаем вектор. Его можно рассматривать как новый вид данных. В таком случае выборка состоит из набора векторов. Есть часть координат – числа, а часть – качественные (категоризованные) данные, то говорим о векторе разнотипных данных. 
	Одним элементом выборки, т.е. одним измерением, может быть и функция в целом. Например, описывающая динамику показателя, т.е. его изменение во времени, - электрокардиограмма больного или амплитуда биений вала двигателя. Или временной ряд, описывающий динамику показателей определенной фирмы. Тогда выборка состоит из набора функций. 
	Элементами выборки могут быть и иные математические объекты, например, бинарные отношения. Так, при опросах экспертов часто используют упорядочения (ранжировки) объектов экспертизы – образцов продукции, инвестиционных проектов, вариантов управленческих решений. В зависимости от регламента экспертного исследования элементами выборки могут быть различные виды бинарных отношений (упорядочения, разбиения, толерантности), множества, нечеткие множества и т.д.
	Итак, математическая природа элементов выборки в различных задачах прикладной статистики может быть самой разной. Однако можно выделить два класса статистических данных – числовые и нечисловые. Соответственно прикладная статистика разбивается на две части – числовую статистику и нечисловую статистику. 
	Числовые статистические данные – это числа, вектора, функции. Их можно складывать, умножать на коэффициенты. Поэтому в числовой статистике большое значение имеют разнообразные суммы. Математический аппарат анализа сумм случайных элементов выборки – это (классические) законы больших чисел и центральные предельные теоремы (см. главу 14).
	Нечисловые статистические данные – это категоризованные данные, вектора разнотипных признаков, бинарные отношения, множества, нечеткие множества и др. Их нельзя складывать и умножать на коэффициенты. Поэтому не имеет смысла говорить о суммах нечисловых статистических данных. Они - элементы нечисловых математических пространств (множеств). Математический аппарат анализа нечисловых статистических данных основан на использовании расстояний между элементами (а также мер близости, показателей различия, псевдометрик) в таких пространствах. С помощью расстояний определяются эмпирические и теоретические средние, доказываются законы больших чисел, строятся непараметрические оценки плотности распределения вероятностей, решаются задачи диагностики и кластерного анализа, и т.д. (см. [1]).
	В прикладных исследованиях используют статистические данные различных видов. Это связано, в частности, со способами их получения. Например, если испытания некоторых технических устройств продолжаются до определенного момента времени, то получаем т.н. цензурированные  данные, состоящие из набора чисел – продолжительности работы ряда устройств до отказа, и информации о том, что остальные устройства продолжали работать в момент окончания испытания. Цензурированные данные часто используются при оценке и контроле надежности технических устройств.
	Сведем информацию об основных областях прикладной статистики в табл. В.1. Модели порождения цензурированных данных входят в состав каждой из рассматриваемых областей.

Таблица В.1
Области прикладной статистики
№ п/п	Вид статистических данных	Область прикладной статистики	
1	Числа	Статистика (случайных) величин	
2	Конечномерные вектора 	Многомерный статистический анализ	
3	Функции	Статистика случайных процессов и временных рядов	
4	Объекты нечисловой природы	Статистика нечисловых данных (статистика объектов нечисловой природы)	

	В части 2 настоящего учебника рассматриваем статистические методы анализа данных первых трех типов. Это ограничение вызвано тем отмеченным выше обстоятельством, что математический аппарат для анализа данных нечисловой природы – существенно иной, чем для данных в виде чисел, векторов и функций. Статистика нечисловых данных рассмотрена в [1, 2, 3]. 
	Вероятностно-статистическое моделирование. При применении статистических методов в конкретных областях знаний и отраслях народного хозяйства получаем научно-практические дисциплины типа «статистические методы в промышленности», «статистические методы в медицине» и др. С этой точки зрения эконометрика - это «статистические методы в экономике» [3]. Эти дисциплины группы б) обычно опираются на вероятностно-статистические модели, построенные в соответствии с особенностями области применения. 
	Основная (как по идейному наполнению, так и по объему) часть 3 настоящего учебника посвящена статистическим методам и вероятностно-статистическому моделированию в различных областях деятельности – в технико-экономических исследованиях (логистике, управлении качеством, электротехнике), экономике и управлении (налогообложении, экспертных оценках, маркетинге), демографии, истории, медицине, социологии. 
	Весьма поучительно сопоставить вероятностно-статистические модели, применяемые в различных областях, обнаружить их близость и вместе с тем констатировать некоторые различия. Так, видна близость постановок задач и применяемых для их решения статистических методов в таких областях, как научные медицинские исследования, конкретные социологические исследования и маркетинговые исследования, или, короче, в медицине, социологии и маркетинге. Они часто объединяются вместе под названием «выборочные исследования». 
	Отличие выборочных исследований от экспертных проявляется в числе обследованных объектов или субъектов – в выборочных исследованиях речь обычно идет о сотнях, а в экспертных – о десятках. Зато технологии экспертных исследований гораздо изощреннее. Еще более выражена специфика в демографических или логистических моделях, при обработке нарративной (текстовой, летописной) информации или при изучении взаимовлияния факторов.
	При отборе вероятностно-статистических моделей для включения в учебник автор во многом исходил из имеющегося у него опыта решения конкретных прикладных задач, а также старался не повторять уже известный в литературе материал. Поэтому в учебнике не рассматриваются вопросы надежности и безопасности технических устройств и технологий, теории массового обслуживания, не описываются изощренные системы эконометрических уравнений, поскольку они подробно рассмотрены в литературе.
	Статистический анализ конкретных данных. Применение статистических методов и моделей для статистического анализа конкретных данных тесно привязано к проблемам соответствующей области. Результаты третьего из выделенных видов научной и прикладной деятельности находятся на стыке дисциплин (являются междисциплинарными). Их можно рассматривать как примеры практического применения статистических методов, как мы и делаем в настоящем учебнике. Но не меньше оснований относить их к соответствующей области деятельности человека. 
	Например, результаты опроса потребителей растворимого кофе (глава 1) естественно отнести к маркетингу (что мы и делаем, читая лекции по маркетинговым исследованиям). Исследование динамики роста цен с помощью индексов инфляции, рассчитанных по независимо собранной информации (разд. 6.6), представляет интерес с точки зрения экономики и управления народным хозяйством (как на макроуровне, так и на уровне отдельных организаций). 
	Примеры практического применения статистических методов включены практически во все главы учебника. Вполне естественно, что при отборе примеров предпочтение отдавалось исследованиям, в которых автор принимал непосредственное участие. Однако описание примеров практического применения статистических методов адаптировано для учебных нужд. Заказчики прикладных исследований получают отчеты, в которых проблемы соответствующих областей деятельности рассмотрены гораздо подробнее. Пример такого отчета - монография [4], посвященная подходам к проблеме вероятностно-статистического моделирования процессов налогообложения.
	О высоких статистических технологиях. Термин «высокие технологии» - популярный в современной научно-технической литературе - используется для обозначения наиболее передовых технологий, опирающихся на последние достижения научно-технического прогресса. Есть такие технологии и среди технологий статистического анализа данных - как в любой интенсивно развивающейся научно-практической области. Они подробно обсуждаются в настоящем учебнике. Их роль подчеркнута тем, что термин «высокие статистические технологии» вынесен в название электронного варианта настоящего учебника http://www.ibm.bmstu.ru/nil/biblio.html#books-03-hsstatan .  
	Обсудим этот пока не вполне привычный термин (он введен в статье [5], опубликованной в 2003 г.). Каждое из трех слов несет свою смысловую нагрузку.
	«Высокие», как и в других областях, означает, что статистическая технология опирается на современные достижения статистической теории и практики. Другими словами, математическая основа технологии получена сравнительно недавно в рамках соответствующей научной дисциплины; алгоритмы расчетов разработаны и обоснованы в соответствии с нею (а не являются т.н. эвристическими).
	Термин «статистические» привычен, он подробно разъясняется на протяжении всего изложения в настоящем учебнике. С нашей точки зрения, статистические данные – это результаты измерений, наблюдений, испытаний, анализов, опытов, а «статистические технологии» - это технологии анализа статистических данных.
	Наконец, сравнительно редко используемый применительно к статистике термин «технологии». Статистический анализ данных включает в себя целый ряд процедур и алгоритмов, выполняемых последовательно, параллельно или по более сложной схеме. Можно выделить следующие этапы:
	- планирование статистического исследования; 
	- организация сбора необходимых статистических данных по оптимальной или рациональной программе (планирование выборки, создание организационной структуры и подбор команды статистиков, подготовка кадров, которые будут заниматься сбором данных, а также контролеров данных и т.п.);
	- непосредственный сбор данных и их фиксация на тех или иных носителях (с контролем качества сбора и отбраковкой ошибочных данных по соображениям предметной области);
	- первичное описание данных (расчет различных выборочных характеристик, функций распределения, непараметрических оценок плотности, построение гистограмм, корреляционных полей, различных таблиц и диаграмм и т.д.), 
	- оценивание тех или иных числовых или нечисловых характеристик и параметров распределений (например, непараметрическое интервальное оценивание коэффициента вариации или восстановление зависимости между откликом и факторами, т.е. оценивание функции), 
	- проверка статистических гипотез (иногда их цепочек - после проверки предыдущей гипотезы принимается решение о проверке той или иной последующей гипотезы), 
	- более углубленное изучение, т.е. применение различных алгоритмов многомерного статистического анализа, алгоритмов диагностики и построения классификации, статистики нечисловых и интервальных данных, анализа временных рядов и др.; 
	- проверка устойчивости полученных оценок и выводов относительно допустимых отклонений исходных данных и предпосылок используемых вероятностно-статистических моделей, в частности, изучение свойств оценок методом размножения  выборок;
	- применение полученных статистических результатов в прикладных целях (например, для диагностики конкретных материалов, построения прогнозов, выбора инвестиционного проекта из предложенных вариантов, нахождения оптимальных режима осуществления технологического процесса, подведения итогов испытаний образцов технических устройств и др.), 
	- составление итоговых отчетов для тех, кто не является специалистами в статистических методах анализа данных, в том числе для руководства - «лиц, принимающих решения».  
	Возможны и иные структуризации статистических технологий. Квалифицированное и результативное применение статистических методов - это отнюдь не проверка одной отдельно взятой статистической гипотезы или оценка параметров одного заданного распределения из фиксированного семейства. Подобного рода операции - только отдельные кирпичики, из которых складывается статистическая технология. 
	Процедура статистического анализа данных – это информационный технологический процесс, т.е. информационная технология. Статистическая информация подвергается разнообразным операциям (последовательно, параллельно или по более сложным схемам). В настоящее время об автоматизации всего процесса статистического анализа данных говорить было бы несерьезно, поскольку имеется слишком много нерешенных проблем, вызывающих дискуссии среди статистиков.
	Программное обеспечение статистических методов. В настоящее время статистическая обработка данных проводится, как правило, с помощью соответствующих программных продуктов. Мы не сочли целесообразным включать в учебник ссылки на те или иные пакеты программ по нескольким причинам.
	Во-первых, популяции программных продуктов быстро обновляются. Пакеты программ, разработанные 10-15 лет назад, безнадежно устарели. Новые версии, как правило, весьма отличаются от предшественников десятилетней давности. В то же время лучшие книги 40-60-х гг. по статистическим методам остаются актуальными и сейчас. 
	Во-вторых, каждый программный продукт обладает определенными достоинствами и недостатками. Как показывает наш опыт [6], при сравнении нескольких пакетов программ крайне трудно сделать обоснованный вывод, какой из них следует предпочесть. 
	Между математической и прикладной статистикой имеется и с течением времени углубляется разрыв. Он проявляется в том, что большинство методов, включенных в статистические пакеты программ (например, в заслуженные Statgraphics и SPSS или в более новую систему Statistica), даже не упоминается в учебниках по математической статистике. В результате разрыва специалист по математической статистике оказывается зачастую беспомощным при обработке реальных данных, а пакеты программ применяют (что еще хуже - и разрабатывают) лица, не имеющие необходимой теоретической подготовки. Естественно, что они допускают разнообразные ошибки. Типовые ошибки при применении критериев согласия Колмогорова и омега-квадрат давно проанализированы в литературе (например, в статье 1985 г. [7] и учебнике [1]). Об удручающих результатах анализа государственных стандартов по статистическим методам управления качеством рассказано в главе 10.
	По оценкам экспертов, распространенные статистические пакеты программ обычно соответствуют уровню научных исследований 60-70-х гг. В них нет большинства статистических методов, включенных в современные учебники [1, 2, 3]. Впрочем, как показывает практика преподавания, студенты и слушатели легко реализуют новые статистические методы с помощью подручных вычислительных средств. 
	О перспективах развития статистических методов. Теория статистических методов нацелена на решение реальных задач. Поэтому в ней постоянно возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими средствами, т.е. путем доказательства теорем. Для удобства читателей сводка по теоретическим инструментам статистических методов представлена в главе 14. Большую роль играет методологическая составляющая - как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента. Перспективам развития статистических методов посвящена заключительная глава 16 настоящего учебника.
	Актуальной является задача анализа истории статистических методов с целью выявления тенденций развития и применения их для прогнозирования. Попытка наметить пути такого анализа предпринята в главе 15.
	Ситуация с внедрением современных статистических методов на предприятиях и в организациях различных отраслей народного хозяйства внушает оптимизм. На отечественных предприятиях продолжают развиваться структуры, нуждающиеся в статистических методах, - подразделения качества, надежности, управления персоналом, центральные заводские лаборатории и другие. Толчок к развитию в последние годы получили службы контроллинга, маркетинга и сбыта, логистики, сертификации, прогнозирования и планирования, инноваций и инвестиций, управления рисками, экологии, которым также полезны различные статистические методы, в частности, методы экспертных оценок. Включенные в учебник методы необходимы органам государственного и муниципального управления, организациям силовых ведомств, транспорта и связи, медицины, образования, агропромышленного комплекса, научным и практическим работникам всех областей деятельности.
	У статистических методов анализа данных – большое будущее!

Литература

1. Орлов А.И. Прикладная статистика. Учебник для вузов. – М.: Экзамен, 2006. – 671 с.
2. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.
3. Орлов А.И. Эконометрика. Учебник для вузов. Изд. 3-е, исправленное и дополненное. - М.: Экзамен, 2004. – 576 с.
4. Математическое моделирование процессов налогообложения (подходы к проблеме) / Орлов А.И., Кастосов М.А., Иванова Н.Ю. и др. - М.: Изд-во ЦЭО Минобразования РФ, 1997. – 232 с.
5. Орлов А.И. Высокие статистические технологии // Заводская лаборатория. - 2003. - Т.69. - №11. - С.55-60.
6. Орлов А.И. Математическое обеспечение сертификации: сравнительный анализ диалоговых систем по статистическому контролю // Заводская лаборатория. - 1996. - Т.62. - №7. - С.46-49.
7. Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат // Заводская лаборатория. - 1985. - Т.51. - №1. - С.60-62.

Часть 1. Основные постановки задач анализа данных

Глава 1. Выборочные исследования 
 
	Термин «выборочные исследования» применяют, когда невозможно изучить все единицы представляющей интерес совокупности. Приходится знакомиться с частью совокупности - с выборкой, а затем с помощью вероятностно – статистических методов и моделей переносить выводы с выборки на всю совокупность. Выборочные исследования посвящены практически важным способам получения и анализа статистических данных и поэтому составляют важный раздел статистических методов, эконометрики и прикладной статистики [1]. 

1.1. Организация выборочных исследований

	В качестве примера рассмотрим выборочные исследования предпочтений потребителей, которые часто проводят специалисты по маркетингу (изучению рынка).
	Оценивание функции спроса. Функция спроса часто встречается в учебниках по экономической теории, но при этом обычно не рассказывается, как она получена. Между тем оценить ее по эмпирическим данным не так уж трудно. Например, можно выяснять ожидаемый спрос с помощью следующего простого приема - спрашиваем потенциальных потребителей: «Какую максимальную цену Вы заплатили бы за такой-то товар?» Пусть для определенности выборка состояла из 20 опрошенных. Они назвали следующие максимально допустимые для них цены:
40, 25, 30, 50, 35, 20, 50, 32, 15, 40,
20, 40, 45, 30, 50, 25, 35, 20, 35, 40.
	 Сначала названные опрошенными величины упорядочим в порядке возрастания. Результаты представлены в табл.1.1. В первом столбце - номера различных численных значений (в порядке возрастания), названных потребителями. Во втором столбце приведены сами значения цены, названные ими. В третьем столбце указано, сколько раз названо то или иное значение.

Таблица 1.1 
Эмпирическая оценка функции спроса и ее использование
№ п/п (i)	Цена 	Повто-ры 	Спрос
	Прибыль
	Прибыль
	Прибыль 
	
1	15	1	20	100	0	-	
2	20	3	19	190	95	-	
3	25	2	16	240	160	0	
4	30	2	14	280	210	70	
5	32	1	12	264	204	84	
6	35	3	11	275	220	110	
7	40	4	8	240	200	120	
8	45	1	4	140	120	80	
9	50	3	3	120	105	75	

	Таким образом, 20 потребителей назвали 9 конкретных значений цены (максимально допустимых, или приемлемых для них значений), каждое из значений, как видно из третьего столбца, названо от 1 до 4 раз. Теперь легко построить выборочную функцию спроса в зависимости от цены. Она будет представлена в четвертом столбце, который заполним снизу вверх. Спрос как функция от цены р (от price (англ.) – спрос) обозначен D(p) (от demand (англ.) – спрос). Если мы будем предлагать товар по цене свыше 50 руб., то его не купит никто из опрошенных. При цене 50 руб. появляются 3 покупателя. Записываем 3 в четвертый столбец в девятую строку. А если цену понизить до 45? Тогда товар купят четверо – тот единственный, для кого максимально возможная цена - 45, и те трое, кто был согласен на более высокую цену – 50 руб. Таким образом, легко заполнить столбец 4, действуя по правилу: значение в клетке четвертого столбца равно сумме значений в находящейся слева клетке третьего столбца и в лежащей снизу клетке четвертого столбца. Например, за 30 руб. купят товар 14 человек, а за 20 руб. - 19.
	Зависимость спроса от цены - это зависимость четвертого столбца от второго. Табл. 1.1 дает нам девять точек такой зависимости. Зависимость можно представить на рисунке, в координатах «спрос – цена». Если абсцисса - это спрос, а ордината - цена, то девять точек на кривой спроса, перечисленные в порядке возрастания абсциссы, имеют вид:
(3; 50), (4; 45), (8; 40), (11; 35), (12; 32), 
(14; 30), (16; 25), (19; 20), (20; 15).
 Эти девять точек можно использовать для построения кривой спроса каким-либо графическим (сделайте чертеж!) или расчетным способом, например, методом наименьших квадратов (см. ниже главу 3). Кривая спроса, как и следует ожидать согласно учебникам экономической теории, убывает, имея направления от левого верхнего угла чертежа к правому. Однако заметны отклонения от гладкого вида функции, связанные, в частности, с естественным пристрастием потребителей к круглым числам. Заметьте, все опрошенные, кроме одного, назвали числа, кратные 5 руб.
	Расчет оптимальной цены. Данные табл. 1.1 могут быть использованы для выбора цены продавцом-монополистом. Или организацией, действующей на рынке монополистической конкуренции. Пусть расходы на изготовление или оптовую покупку единицы товара равны 10 руб. По какой цене ее продавать на том рынке, функцию спроса для которого мы только что нашли? Для ответа на этот вопрос вычислим суммарную прибыль, т.е. произведение прибыли на одной единице товара (p-10) на число проданных (точнее, запрошенных) экземпляров D(p). Результаты приведены в пятом столбце табл.1.1. Видно, что максимальная прибыль, равная 280 руб., достигается при цене 30 руб. за единицу товара. При этом из 20 потенциальных покупателей окажутся в состоянии заплатить за книгу 14, т.е. 70%.
	Если же удельные издержки производства, приходящиеся на одну единицу товара (или оптовая цена), повысятся до 15 руб., то данные столбца 6 табл.1.1 показывают, что максимальная прибыль, равная 220 руб. (она, разумеется, меньше, чем в предыдущем случае), достигается при более высокой цене - 35 руб. Эта цена доступна 11 потенциальным покупателям, т.е. 55% от всех возможных покупателей. При дальнейшем повышении издержек, скажем, до 25 руб., как вытекает из данных столбца 7 табл.1, максимальная прибыль, равная 120 руб., достигается при цене 40 руб. за единицу товара, что доступно 8 лицам, т.е. 40% покупателей. Отметьте, что при повышении оптовой цены на 10 руб. оказалось выгодным увеличить розничную лишь на 5, поскольку более резкое повышение привело бы к такому сокращению спроса, которое перекрыло бы эффект от повышения удельной прибыли (т.е. прибыли, приходящейся на одну проданную единицу товара). 
	Замечание. При более строгом подходе к использованию терминов надо вместо «прибыли» говорить о «маржинальной прибыли», а вместо «удельных издержек» – о «переменных издержках» (на одну единицу продукции), поскольку постоянные издержки не учитываем. Кроме того, спрос целесообразно выражать не в числе потребителей, а в процентах от общего числа потенциальных потребителей. Мы не сочли необходимым придерживаться подобных уточнений, поскольку цель настоящей главы – в демонстрации возможности использования в маркетинговых исследованиях подходов, основанных на организационно-экономическом статистическом моделировании.
	Представляет интерес анализ оптимального объема выпуска при различных значениях удельных издержек (табл.1.2).
	В табл. 1.2 звездочками указаны максимальные значения прибыли при том или ином значении издержек, не включенном в табл. 1.1. Для легкости обозрения результаты об оптимальных объемах выпуска и соответствующих ценах из табл. 1.1 и табл. 1.2 приведены в табл. 1.3. 
Таблица 1.2
Прибыль при различных значениях издержек
№ (i)	Цена 	Спрос
	Прибыль
	Прибыль
	Прибыль 
	Прибыль 
	Прибыль 
	
1	15	20	200	-	-	-	-	
2	20	19	285	0	-	-	-	
3	25	16	320	80	-	-	-	
4	30	14	350 *	140	0	-	-	
5	32	12	324	144	24	-	-	
6	35	11	330	165 *	55	0	-	
7	40	8	280	160	80 *	40	0	
8	45	4	160	100	60	40	20	
9	50	3	135	90	60	45 *	30 *	

Таблица 1.3 
Зависимость оптимального выпуска и цены от издержек
Издержки	5	10	15	20	25	30	35	40	
Оптимальный выпуск	14	14	11	11	8	8	3	3	
Цена	30	30	35	35	40	40	50	50	

	Как видно из табл. 1.3, с ростом издержек оптимальный выпуск падает, а цена растет. При этом изменение издержек на 5 единиц может вызывать, а может и не вызывать повышения цены. В этом проявляется микроструктура функции спроса – небольшое повышение цены может привести к тому, что значительные группы покупателей откажутся от покупок, и прибыль упадет. 
	Этот эффект напоминает известное в экономической теории разделение налогового бремени между производителем и потребителем. Неверно говорить, что производитель перекладывает издержки или, конкретно, налоги, на потребителя, повышая цену на их величину, поскольку при этом сокращается спрос (и выпуск), а потому и прибыль производителя.
	Дальнейшее ясно - если оптовая цена будет повышаться, то и дающая максимальную прибыль розничная цена также будет повышаться, и все меньшая доля покупателей сможет приобрести товар. Крайняя точка - оптовая цена, равная 45 руб. Тогда только трое (15%) купят товар за 50 руб., а прибыль продавца составит только 15 руб. Наглядно видно, что повышение издержек производства приводит к ориентации производителя на наиболее богатые слои населения. Но и повышение цен (до оптимального для монополиста-производителя уровня) не приводит к повышению прибыли, напротив, она снижается, и при этом большинство потенциальных потребителей не в состоянии купить товар.  
	Рыночные структуры не в состоянии обеспечить всех желающих – это просто не выгодно. Так, из 20 опрошенных лишь 14, т.е. 70%, могут рассчитывать на покупку, даже при минимальных издержках и ценах. Если общество желает чем-либо обеспечить всех граждан, оно должно раздавать это благо бесплатно, как это делается, например, с учебниками в школах.
	Описанный здесь метод оценивания спроса разработан в Институте высоких статистических технологий и эконометрики в 1993 г.
	Для изучения предпочтений потребителей часто используют более изощренные методы. Рассмотрим некоторые из них.
	Маркетинговые опросы потребителей. Потенциального покупателя интересует не только цена, но и качество товара, красота упаковки (например, для подарочных наборов конфет) и многое другое. Хочешь узнать, чего желает потребитель - спроси его. Эта простая мысль объясняет популярность маркетинговых опросов. 
	Бесспорно, что основная цель производственной и торговой деятельности - удовлетворение потребностей людей. Как получить представление об этих потребностях? Очевидно, необходимо опросить потребителей. В американском учебнике по рекламному делу [2] подробно рассматриваются различные методы опроса потребителей и обработки результатов с помощью методов эконометрики. Расскажем о результатах опроса потребителей растворимого кофе. Исследование проведено Институтом высоких статистических технологий и эконометрики по заказу фирмы АОЗТ «Д-2» в апреле 1994 г. в Москве. 
	Сбор данных. Один из важнейших разделов прикладной статистики – сбор данных. Обсудим постановку задачи в случае опроса потребителей растворимого кофе. Заказчика интересуют предпочтения как продавцов кофе (розничных и мелкооптовых), так и непосредственно потребителей. В результате совместного обсуждения было признано целесообразным использовать для опроса и тех, и других одну и ту же анкету из 14 основных и 4 социально-демографических вопросов с добавлением двух вопросов специально для продавцов. Анкета была разработана совместно представителями заказчика и исполнителя и утверждена заказчиком. В табл.1.4 приведен несколько сокращенный вариант этой анкеты.

Таблица 1.4 
Анкета для потребителей растворимого кофе (в сокращении)
__________________________________________________________
Дорогой потребитель растворимого кофе,
	Институт высоких статистических технологий и эконометрики просит Вас ответить на несколько простых вопросов о том, какой кофе Вы любите. Ваши ответы позволят составить объективное представление о вкусах российских любителей кофе и будут способствовать повышению качества этого товара на российском рынке.
1. Часто ли Вы пьете растворимый кофе: иногда, каждый день 1 чашку, 2-3 чашки, больше, чем 3 чашки.
(Здесь и далее подчеркните нужное.)
2. Что Вы цените в кофе: вкус, аромат, крепость, цвет, отсутствие вредных для здоровья веществ, что-либо еще (сообщите нам, что именно) ____________________________.
3. Как часто покупаете кофе: по мере надобности или по возможности?
4. Какую марку растворимого кофе Вы обычно покупаете? ______
5. Какой объем упаковки Вы предпочитаете: в пакетиках, маленькая банка, средняя банка, большая банка, обязательно стеклянная банка, все равно.
6. Где покупаете растворимый кофе: в ларьках, в продуктовых магазинах, в специализированных отделах и магазинах, все равно, где купить, где-либо еще (опишите, пожалуйста) ______________.
7. Были ли случаи, когда купленный Вами кофе оказывался низкого качества? Да, нет.
8. Согласны ли Вы, что за высокое и гарантированное  качество продукта можно и заплатить несколько дороже? Да, нет.
9. На сколько дороже Вы готовы платить за экологически безопасный кофе? _________________________________________
10. Считаете ли Вы нужным, чтобы вредные для здоровья вещества, в частности, ионы тяжелых металлов, не проникали из материала упаковки в растворимый кофе? Да, нет. 
	Мы планируем сравнить потребительские предпочтения различных категорий жителей нашей страны. Поэтому просим ответить еще на несколько вопросов.
11. Пол: женский, мужской.
12. Возраст: до 20, 20-30, 30-50, более 50.
13. Род занятий: учащийся, работающий, пенсионер, инженер, врач,  преподаватель, служащий, менеджер, предприниматель, научный работник, рабочий, др. (пожалуйста, расшифруйте).
14. Вся Ваша семья любит растворимый кофе или же Вы -  единственный любитель этого восхитительного напитка современного человека?  Вся семья, я один (одна).
	Спасибо за Ваше содействие работе по повышению качества  продуктов на российском рынке!

	Выбор метода опроса. Широко применяются процедуры опроса, когда респонденты (так социологи и маркетологи называют тех, от кого получают информацию, т.е. опрашиваемых) самостоятельно заполняют анкеты (розданные им или полученные по почте), а также личные и телефонные интервью. Из этих процедур нами выбрано личное интервью по следующим причинам.
	Возврат почтовых анкет сравнительно невелик (в данном случае можно было ожидать не более 5-10%), оттянут по времени и искажает структуру совокупности потребителей (наиболее динамичные люди вряд ли найдут время для ответа на подобную анкету). 
	Самостоятельное заполнение анкеты, как показали специально проведенные эксперименты, не позволяет получить полные ответы на поставленные вопросы. Респондент утомляется или отвлекается, отказывается отвечать на часть вопросов, иногда не понимает их или отвечает не по существу. Некоторые категории респондентов, например, продавцы в киосках, отказываются заполнять анкеты, но готовы устно ответить на вопросы.
	Телефонный опрос искажает совокупность потребителей, поскольку наиболее активных индивидуумов трудно застать дома и уговорить ответить на вопросы анкеты. Репрезентативность нарушается и потому, что на один номер телефона может приходиться различное количество продавцов и потребителей растворимого кофе, а некоторые из них не имеют телефонов вообще. Анкета достаточно длинна, и разговор по домашнему и тем более служебному телефону респондента может быть прекращен досрочно по его инициативе. Иногородних продавцов и потребителей растворимого кофе, приехавших в Москву, по телефону опросить практически невозможно.
	Метод личного интервью лишен перечисленных недостатков. Соответствующим образом подготовленный интервьюер, получив согласие на интервью, удерживает внимание собеседника на анкете, добивается получения ответов на все её вопросы, контролируя при этом соответствие ответов реальной позиции респондента. Ясно, что успех интервьюирования зависит от личных качеств и подготовки интервьюера. Однако расходы на получение одной анкеты при использовании этого метода больше, чем для других рассмотренных методов.
	Формулировки вопросов. В маркетинговых и социологических опросах используют три типа вопросов - закрытые, открытые и полузакрытые, они же полуоткрытые. При ответе на закрытые вопросы респондент может выбирать лишь из сформулированных составителями анкеты вариантов ответа. В качестве ответа на открытые вопросы респондента просят изложить свое мнение в свободной форме. Полузакрытые, они же полуоткрытые вопросы занимают промежуточное положение - кроме перечисленных в анкете вариантов, респондент может добавить свои соображения.
	В социологических публикациях, посвященных выборочным исследованиям, продолжается дискуссия по поводу «мягких» и «жестких» форм сбора данных. Т.е. фактически о том, какого типа вопросы более целесообразно использовать - открытые или закрытые.
	Преимущество открытых вопросов в том, что респондент может свободно высказать свое мнение так, как сочтет нужным. Их недостаток - в сложности сопоставления мнений различных респондентов. Для такого сопоставления и получения сводных характеристик организаторы опроса вынуждены сами шифровать ответы на открытые вопросы, применяя разработанную ими схему шифровки. 
	Преимущество закрытых вопросов - такую шифровку проводит сам респондент. Однако при этом организаторы опроса уподобляются древнегреческому мифическому персонажу Прокрусту. Как известно, Прокруст приглашал путников заночевать у него. Укладывал их на кровать. Если путник был маленького роста, он вытягивал его ноги так, чтобы они доставали до конца кровати. Если же путник оказывался высоким и ноги его торчали - он обрубал их так, чтобы достигнуть стандарта: «рост» путника должен равняться длине кровати. Так и организаторы опроса, применяя закрытые вопросы, заставляют респондента «вытягивать» или «обрубать» свое мнение, чтобы выразить его с помощью приведенных в формулировке вопроса возможных ответов.
	Ясно, что для обработки данных по группам и сравнения групп между собой нужны формализованные данные, и фактически речь может идти лишь о том, кто - респондент или маркетолог (социолог, психолог и др.) - будет шифровать ответы. В проекте «Потребители растворимого кофе» практически для всех вопросов варианты ответов можно перечислить заранее, т.е. можно широко использовать закрытые вопросы. В отличие от опросов с вопросами типа: «Одобряете ли Вы идущие в России реформы?», в которых естественно просить респондента расшифровать, что он понимает под «реформами» (открытый вопрос). Поэтому в используемой в описываемом проекте анкете использовались в основном закрытые и полузакрытые вопросы. Как показали результаты обработки, этот подход оказался правильным - лишь в небольшом числе анкет оказались вписаны свои варианты ответов. Вместе с тем демонстрировалось уважение к мнению респондента, не выдвигалось требование обязательного выбора из заданного множества ответов - респондент мог добавить свое, но редко пользовался этой возможностью (не более чем в 5% случаев).
	В последнем вопросе анкеты респонденту предлагалось стать постоянным участником опросов о качестве товаров народного потребления. Ряд респондентов откликнулся на это предложение, в результате стало возможным развертывание постоянной сети «экспертов по качеству», подобной аналогичным в США и других странах.

1.2. Модели случайных выборок

	Статистические методы выборочных исследований основаны на вероятностных моделях, описывающих получение ответов опрашиваемых на вопросы анкет. В случае ответов типа «да» - «нет» наиболее распространенными являются две вероятностные модели—биномиальная и гипергеометрическая. 
	В биномиальной модели предполагается, что ответы n опрашиваемых можно рассматривать как совокупность n независимых одинаково распределенных случайных величин Х1, Х2,....,Хn , где Хi  = 1, если i‑ый респондент сказал «да», и Хi = 0, если его ответ - «нет». Тогда число Х ответов «да» в выборке равно
Х= Х1+ Х2+...+ Хn .	(1.1)
	Из формулы (1.1) и Центральной предельной теоремы теории вероятностей (см. главу 14 настоящего учебника) вытекает, что при увеличении объема выборки n распределение Х сближается с нормальным распределением. Известно, что распределение Х имеет вид
Р(Х= k) =  Cnk pk (1—p)n-k , 	(1.2)
где Cnk - число сочетаний из n элементов по k, а p - доля ответов «да» в генеральной совокупности, т.е. p = Р(Хi = 1). Формула (1.2) задает биномиальное распределение, часто используемое при вероятностном моделировании реальных явлений и процессов.
	Гипергеометрическое распределение соответствует иной схеме - случайному отбору респондентов в выборку. Пусть среди N лиц, составляющих генеральную совокупность, имеется D лиц, чье мнение - «да». Случайность отбора респондентов в выборку означает, что каждое лицо имеет одинаковые шансы быть отобранным. Мало того, ни одна пара потенциальных респондентов не должна иметь при отборе в выборку преимущества перед любой другой парой. То же самое — для троек, четверок и т.д. Это условие выполнено тогда и только тогда, когда каждое из  сочетаний по n лиц из N имеет одинаковые шансы быть отобранным в качестве выборки. Вероятность того, что будет отобрано заранее заданное сочетание, равна, очевидно, 1/.
	Пусть Y —число сказавших «да» лиц в случайной выборке, организованной таким образом. Известно, что тогда P(Y = k) – гипергеометрическое распределение, т.е.
.		(1.3)
	Отбор случайной выборки согласно описанным правилам организуют при проведении различных лотерей. Например, отбирают 6 номеров из 49. Тогда генеральная совокупность состоит из 49 единиц (номеров), а выборка - из 6. В этом случае отбирают номера, а не респондентов, но вероятностная модель - та же. Удобно говорить, что генеральная совокупность и выборка состоят из единиц. В одном случае единицы - это люди (лица, потенциальные респонденты), в другом - номера. В статистических метода управления качеством рассматриваются единицы продукции - детали или изделия.
	Замечательный математический факт состоит в том, что биномиальная модель (1.2) и гипергеометрическая модель (1.3) весьма близки (с практической точки зрения совпадают), когда объем генеральной совокупности (партии) по крайней мере в 10 раз превышает объем выборки. Другими словами, можно принять, что
Р(Х = k) = P(Y = k),	(1.4)
если объем выборки мал по сравнению с объемом партии. При этом в качестве p в левой части формулы (1.4) берут D/N. 
	Близость результатов, получаемых с помощью биномиальной и гипергеометрической моделей, весьма важна не только с практической, но и с методологической точки зрения. Дело в том, что эти модели исходят из принципиально различных методологических предпосылок. В биномиальной модели случайность присуща каждому респонденту. Он с какой-то вероятностью отвечает «да», а с какой-то - «нет» (сумма этих вероятностей, очевидно, равна 1). В то же время в гипергеометрической модели ответ респондента полностью определен, а случайность проявляется лишь в отборе, вносится социологом или маркетологом при составлении выборки. 
	В науках о человеке противоречие между рассматриваемыми моделями выборки четко выражено. В среде специалистов, изучающих человека (маркетологов, социологов, психологов, политологов и др.) давно идет дискуссия о роли случайности в поведении человека. А именно, есть ли случайность в поведении отдельно взятого человека или же случайность проявляется лишь в отборе выборки из генеральной совокупности. 
	Биномиальная модель предполагает, что поведение человека, в частности, выбор им определенного варианта при ответе на вопрос, определяется с участием случайных причин. Например, человек может случайно сказать «да», случайно — «нет». Некоторые философы отрицают случайность, присущую поведению человека согласно биномиальной модели. Они верят в причинность и считают поведение конкретного человека практически полностью детерминированным (его взглядами, психофизиологическими особенностями, прежним опытом, наследственностью и др.). Поэтому они принимают гипергеометрическую модель и считают, что случайность отличия ответов в выборке от ответов во всей генеральной совокупности определяется всецело случайностью, вносимой при отборе единиц наблюдения в выборку.
	Сформулированные выше математические результаты (соотношение (1.4)) показывают, что позиция в этой давней дискуссии практически не влияет на алгоритмы обработки данных. Следовательно, во многих случаях нет необходимости принимать чью-либо сторону в этом споре, поскольку обе модели дают близкие численные результаты. 
	Отличия проявляются лишь при обсуждении вопроса о том, какую выборку считать представительной. В терминах контроля качества продукции - является ли таковой выборка, составленная из 20 изделий, лежащих сверху в первом вскрытом ящике? В биномиальной модели вполне допустим ответ «да», в гипергеометрической -  только «нет».
	Биномиальная модель легче для теоретического изучения, поэтому будем её рассматривать в дальнейшем. Однако при реальном опросе лучше формировать выборку, исходя из гипергеометрической модели. Это делают, выбирая респондентов из списка избирателей (для включения в выборку) с помощью датчиков псевдослучайных чисел на ЭВМ или с помощью таблиц псевдослучайных чисел. Алгоритмы формирования выборки встраивают во все современные программные продукты, предназначенные для поддержки проведения маркетинговых или социологических опросов, организации статистического контроля качества и др.
	Обоснование объема выборки и проведение опроса. Вернемся к анализу результатов опроса потребителей растворимого кофе, о котором шла речь в предыдущем разделе. Модели выборочных исследований часто опираются на предположение, что реальную выборку можно описывать как «случайную выборку из конечной совокупности». Типа той, когда из списков избирателей с помощью датчика случайных чисел отбирается необходимое число номеров для формирования жюри присяжных заседателей. В рассматриваемом исследовании нельзя обеспечить формирование подобной выборки - не существует реестра потребителей растворимого кофе. Однако в этом и нет необходимости. Поскольку гипергеометрическое распределение хорошо приближается биномиальным, если объем выборки по крайней мере в 10 раз меньше объема всей совокупности (в рассматриваемом случае это так), то правомерно использование биномиальной модели, согласно которой мнение респондента (ответы на все вопросы анкеты) рассматривается как случайный вектор, а все такие вектора независимы между собой. Другими словами, можно использовать модель простой случайной выборки. 

1.3. Доверительное оценивание доли

	Зачем проводятся выборочные исследования? Чтобы получить необходимую информацию о генеральной совокупности. Для этого необходимо перенести выводы с выборки на генеральную совокупность. Как и с какой точностью можно это сделать?
	Рассмотрим эту проблему для простейшего случая одного вопроса с двумя возможными ответами - «да» и «нет».
	Биномиальная модель выборки как раз и применяется для описания ответов на закрытые вопросы, имеющие две подсказки, например, «да» и «нет». Конечно, пары подсказок могут быть иными. Например, «согласен» и «не согласен». Или при опросе потребителей кондитерских товаров первая подсказка может иметь такой вид: «Больше люблю «Марс», чем «Сникерс»«. А вторая тогда такова: «Больше люблю «Сникерс», чем «Марс»».
	Пусть объем выборки равен n. Тогда ответы опрашиваемых можно представить как X1 , X2 ,…,Xn , где Xi = 1, если i-й респондент выбрал первую подсказку, и Xi = 0, если i-й респондент выбрал вторую подсказку, i=1,2,…,n. В вероятностной модели предполагается, что случайные величины X1, X2, …, Xn независимы и одинаково распределены. Поскольку эти случайные величины принимают два значения, то ситуация описывается одним параметром р - долей выбирающих первую подсказку во всей генеральной совокупности. Тогда 
Р(Xi = 1) = р, Р(Xi = 0)= 1 - р, i=1,2,…,n.
Пусть m = X1 + X2 +…+Xn . Оценкой вероятности р является частота р*=m/n. При этом математическое ожидание М(р*) и дисперсия D(p*) имеют вид
М(р*) = р, D(p*)= p(1-p)/n.
По Закону Больших Чисел (ЗБЧ) теории вероятностей (в данном случае - по теореме Бернулли) частота р* сходится (т.е. безгранично приближается) к вероятности р при росте объема выборки (см. главу 14). Это означает, что оценивание проводится тем точнее, чем больше объем выборки. Точность оценивания можно указать. Займемся этим.
	По теореме Муавра-Лапласа теории вероятностей

где - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1,

где = 3,1415925…-отношение длины окружности к ее диаметру, e = 2,718281828… - основание натуральных логарифмов. График плотности стандартного нормального распределения

был очень точно изображен на германской денежной банкноте в 10 немецких марок (до введения евро). Банкнота посвящена великому немецкому математику Карлу Гауссу (1777-1855), среди основных работ которого есть относящиеся к нормальному распределению. Эта подробность демонстрирует, что в Германии (и тем более в англосаксонских странах) гораздо шире распространено знакомство с основами теории вероятностей и математической статистики, чем в нашей стране.   
	В настоящее время нет необходимости вычислять функцию стандартного нормального распределения и ее плотность по приведенным выше формулам, поскольку давно составлены подробные таблицы (см., например, [3]), а распространенные программные продукты содержат алгоритмы нахождения этих функций.
	С помощью теоремы Муавра-Лапласа могут быть построены доверительные интервалы для неизвестной статистику вероятности. Из этой теоремы непосредственно следует, что

Поскольку функция стандартного нормального распределения симметрична относительно 0, т.е.  то справедливо полезное равенство 
	Зададим характеристику надежности переноса выводов с выборки на генеральную совокупность - доверительную вероятность , близкую к 1. Пусть функция  удовлетворяет условию

т.е.

Из последнего предельного соотношения следует, что 

	К сожалению, это соотношение нельзя непосредственно использовать для доверительного оценивания, поскольку верхняя и нижняя границы зависят от неизвестной вероятности. Однако с помощью метода наследования сходимости (см. главу 14 настоящего учебника) можно доказать, что

Следовательно, нижняя доверительная граница имеет вид

в то время как верхняя доверительная граница такова:

	Наиболее распространенным (в прикладных исследованиях) значением доверительной вероятности является  Иногда употребляют термин «95% доверительный интервал». Тогда  
	Пример 1. Пусть n = 500, m = 200. Тогда p* = 0,40. Найдем доверительный интервал для 

	Таким образом, хотя в достаточно большой выборке 40% респондентов говорят «да», можно утверждать лишь, что во всей генеральной совокупности таких от 35,7 до 44,3% - крайние значения отличаются на 8,6%. 
	Замечание. С достаточной для практики точностью можно заменить 1,96 на 2.
	Величина

называется ошибкой выборки. Обычно, как в примере 1, используют значение доверительной вероятности  и множитель 
	Удобные для использования в практической работе специалиста по выборочным исследованиям, маркетолога и социолога таблицы точности оценивания разработаны во ВЦИОМ (Всероссийском центре по изучению общественного мнения). Приведем здесь несколько модифицированный вариант одной из них (табл. 1.5).
 
Таблица 1.5 
Допустимая величина ошибки выборки (в процентах)
 Объем группы n	1000	750	600	400	200	100	
Доля р*, в %							
Около 10 или 90	2	3	3	4	5	7	
Около 20 или 80	3	4	4	5	7	9	
Около 30 или 70	4	4	4	6	9	10	
Около 40 или 60	4	4	5	6	8	11	
Около 50	4	4	5	6	8	11	

	В условиях рассмотренного выше примера надо взять вторую снизу строку. Объема выборки 500 нет в таблице, но есть объемы 400 и 600, которым соответствуют ошибки в 6% и 5% соответственно. Следовательно, в условиях примера целесообразно оценить ошибку как ((5+6)/2)% = 5,5%. Эта величина несколько больше, чем рассчитанная выше (4,3%). С чем связано это различие? Дело в том, что таблица ВЦИОМ связана не с доверительной вероятностью  а с доверительной вероятностью  которой соответствует множитель  Расчет ошибки по приведенным выше формулам дает 5,65%, что практически совпадает со значением, найденным по табл.1.5.
	Необходимый объем выборки. В биномиальной модели выборки оценивание характеристик происходит тем точнее, чем объем выборки больше. Часто спрашивают: «Какой объем выборки нужен?» Разработан ряд методов определения необходимого объема выборки. Они основаны на разных подходах. Либо на задании необходимой точности оценивания параметров. Либо на явной формулировке альтернативных гипотез, между которыми необходимо сделать выбор. Либо на учете погрешностей измерений (методы статистики интервальных данных). Ни один из этих подходов нельзя применить в рассматриваемом случае.
	Минимальный из обычно используемых объемов выборки n в  маркетинговых или социологических исследованиях - 100, максимальный - до 1000 и даже до 5000 и более (более 1000 - обычно в исследованиях, охватывающих ряд регионов страны, т.е. фактически разбивающихся на ряд отдельных исследований - как  в ряде исследований ВЦИОМ). По данным Института социологии Российской академии наук, среднее число анкет в социологическом исследовании не превышает 700. Поскольку стоимость исследования растет, по крайней мере, как линейная функция объема выборки, а точность повышается как квадратный корень из этого объема, то верхняя граница объема выборки определяется обычно из экономических соображений. Объемы пилотных исследований (т.е. проводящихся впервые, предварительно или как первые в сериях подобных) обычно ниже, чем объемы исследований по обкатанной программе.
	Нижняя граница определяется тем, что в минимальной по численности анализируемой подгруппе должно быть несколько десятков человек (не менее 30), поскольку по ответам попавших в эту подгруппу необходимо сделать обоснованные заключения, например, о предпочтениях соответствующей подгруппы в совокупности всех потребителей растворимого кофе. Учитывая деление опрашиваемых на продавцов и покупателей, на мужчин и женщин, на четыре градации по возрасту и восемь - по роду занятий, наличие 5 - 6 подсказок во многих вопросах, приходим к выводу о том, что в рассматриваемом проекте объем выборки должен быть не менее 400 - 500. Вместе с тем существенное превышение этого объема было признано нецелесообразным, поскольку исследование являлось пилотным.
	Поэтому в проекте «Потребители растворимого кофе» объем выборки был выбран равным 500. Анализ полученных результатов позволяет утверждать, что в соответствии с целями исследования выборку следует считать репрезентативной. 

1.4. Два прикладных выборочных исследования

	Продолжим обсуждение выборочного исследования потребителей растворимого кофе.
	Организация опроса. Интервьюерами работали молодые люди – студенты первого курса экономико-математического факультета Московского государственного института электроники и математики (технического университета) и лицея №1140, проходившие обучение по экономике, всего 40 человек, имеющих специальную подготовку по изучению рынка и проведению маркетинговых опросов потребителей и продавцов (в объеме 8 часов). Опрос продавцов проводился на рынках г. Москвы, действующих в Лужниках, у Киевского вокзала и в других местах. Опрос покупателей проводился на рынках, в магазинах, на улицах около киосков и ларьков, а также в домашней и служебной обстановке.
	Большое внимание уделялось качеству заполнения анкет. Интервьюеры были разбиты на шесть бригад, бригадиры персонально отвечали за качество заполнения анкет. Второй уровень контроля осуществляла специально созданная «группа организации опроса», третий происходил при вводе информации в базу данных. Каждая анкета заверена подписями интервьюера и бригадира, на ней указано место и время интервьюирования. Поэтому необходимо признать высокую достоверность собранных анкет.
	Обработка данных. В соответствии с целью исследования основной метод первичной обработки данных - построение частотных таблиц для ответов на отдельные вопросы. Кроме того, проводилось сравнение различных групп потребителей и продавцов, выделенных по социально-демографическим данным, с помощью критериев проверки однородности выборок (см. ниже). При более углубленном анализе применялись различные методы статистики объектов нечисловой природы (более 90% маркетинговых и социологических данных имеют нечисловую природу [4]). Использовались средства графического представления данных.
	Итоги опроса. Итак, по заданию одной из торговых фирм были изучены предпочтения покупателей и мелкооптовых продавцов растворимого кофе. Совместно с представителями заказчика был составлен опросный лист (анкета типа социологической) из 16 основных вопросов и 4 дополнительных, посвященных социально-демографической информации. Опрос проводился в форме интервью с 500 покупателями и продавцами кофе. Места опроса - рынки, лотки, киоски, продуктовые и специализированные магазины, т.е. охвачены все виды мест продаж кофе. Интервью проводили более 40 специально подготовленных (примерно по 8-часовой программе) студентов, разбитых на 7 бригад. После тщательной проверки бригадирами и группой обработки информация была введена в специально созданную базу данных. Затем проводилась разнообразная статистическая обработка, строились таблицы и диаграммы, проверялись статистические гипотезы и т.д. Заключительный этап - осмысление и интерпретация данных, подготовка итогового отчета и предложений для заказчиков. 
	Технология организации и проведения маркетинговых опросов лишь незначительно отличается от технологии социологических опросов, многократно описанной в литературе. Так, мы предпочли использовать полуоткрытые вопросы, в которых для опрашиваемого дан перечень подсказок, а при желании он может высказать свое мнение в свободной форме. Не уложившихся в подсказки оказалось около 5% , их мнения были внесены в базу данных и анализировались дополнительно. Для повышения надежности опроса о наиболее важных с точки зрения маркетинга моментах спрашивалось в нескольких вопросах. Были вопросы - ловушки, с помощью которых контролировалась «осмысленность» заполнения анкеты. Например, в вопросе: «Что Вы цените в кофе: вкус, аромат, крепость, наличие пенки...» ловушкой является включение «крепости» - ясно, что крепость зависит не от растворимого кофе самого по себе, а от его количества в чашке. В ловушку никто из 500 не попался - никто не отметил «крепость». Этот факт свидетельствует о надежности выводов проведенного опроса. Мы считали нецелесообразным задавать вопрос об уровне доходов (поскольку в большинстве случаев отвечают «средний», что невозможно связать с определенной величиной). Вместо такого вопроса мы спрашивали: «Как часто Вы покупаете кофе: по мере надобности или по возможности?». Поскольку кофе не является дефицитным товаром, первый ответ свидетельствовал о наличии достаточных денежных средств, второй - об их ограниченности (потребитель не всегда имел возможность позволить себе купить банку растворимого кофе). 
	Стоимость подобных исследований - 5-10 долл. на одного обследованного. При этом трудоемкость (и стоимость) начальной стадии - подготовки анкеты и интервьюеров, пробный опрос и др. - 30% от стоимости исследования. Стоимость непосредственно опроса - тоже 30%, ввод информации в компьютер и проведение расчетов, построение таблиц и графиков - 20%, интерпретация результатов, подготовка итогового отчета и предложений для заказчиков - 20%. Таким образом, стоимость собственно опроса в два с лишним раза меньше стоимости остальных стадий исследования. И в выполнении работы участвуют различные специалисты. На первой стадии – в основном нужны высококвалифицированные аналитики. На второй – многочисленные интервьюеры, в роли которых могут выступать студенты и школьники, прошедшие конкретный курс обучения в 8 - 10 часов. На третьей – работа с компьютером (надо уметь строить и обсчитывать электронные таблицы или базы данных, использовать статистические пакеты, составлять и печатать таблицы и диаграммы и т.п.). На четвертой – опять в основном нужны высококвалифицированные аналитики.   
	Приведем некоторые из полученных результатов. 
	а) В отличие от западных потребителей, отечественные не отдавали предпочтения стеклянным банкам по сравнению с жестяными. Поскольку жестяные банки дешевле стеклянных, то можно было порекомендовать (в 1994 г., когда проходил опрос) с целью снижения расходов закупку кофе в жестяных банках. 
	б) Отечественные потребители готовы платить на 10-20% больше за экологически безопасный кофе более высокого качества, имеющий сертификат Минздрава и символ экологической безопасности на упаковке.
	в) Средний объем потребления растворимого кофе одной семьей - 850 г в месяц.
	г) Потребители растворимого кофе могут быть разделены на классы (в другой терминологии – кластеры, типы). Есть «продвинутые» потребители, обращающие большое внимание на качество и экологическую безопасность, марку и страну производства, терпимо относящиеся к изменению цены. Эти «тонкие ценители» - в основном женщины от 30 до 50 лет, служащие, менеджеры, научные работники, преподаватели, врачи (т.е. лица с высшим образованием), пьющие кофе как дома, так и на работе, причем «кофейный ритуал» зачастую входит в процедуру деловых переговоров или совещаний. Противоположный по потребительскому поведению класс состоит из мужчин двух крайних возрастных групп - школьников и пенсионеров. Для них важна только цена, что очевидным образом объясняется недостатком денег.
	Результаты использованы заказчиком в рекламной кампании. В частности, обращалось внимание на сертификат Минздрава и на экологическую безопасность упаковки.  
	Оценивание функции спроса и моделирование рынка. Выпускник программы «Топ-менеджер» Академии народного хозяйства при Правительстве Российской Федерации А.А. Пивень в 2003 г. оценил функцию спроса на продукцию своего предприятия. Расчет и установление оптимальной цены на изделие с точки зрения максимизации прибыли был произведен по описанному выше методу. В табл.1.6 приведена функция ожидаемого спроса в зависимости от цены. Как подсчитал А.А. Пивень, уровень издержек на производство 1 изделия составляет 42824,7 руб. (1350 у.е.). Для удобства все расчеты будем производить в условных единицах.
 
 Таблица 1.6
Функция ожидаемого спроса в зависимости от цены
№ п/п	Цена, у.е.	Объем продаж в год, шт.	Издержки на объ-ем производства	Выручка, у.е.	Прибыль, у.е.	
1	1 400	1 600	2 160 000	2 240 000	80 000	
2	1 500	1 500	2 025 000	2 250 000	225 000	
3	1 600	1 200	1 620 000	1 920 000	300 000	
4	1 700	1 000	1 350 000	1 700 000	350 000	
5	1 800	720	972 000	1 246 000	324 000	
6	1 900	500	675 000	950 000	275 000	
7	2 000	320	432 000	640 000	208 000	
8	2 100	170	229 500	357 000	127 500	
9	2 200	110	148 500	242 000	93 500	

	Как видно из приведенных расчетов, оптимальная цена на подъемник должна находиться в диапазоне 1600 – 1700 у.е.
 	На основе многомерной регрессионной зависимости методом наименьших квадратов (см. ниже главу 6) построена математическая модель рынка. Она довольно точно отражает реальное положение дел. При исходной цене 1650 у.е. продажи ориентировочно должны составить 1010 шт. На рис.1.1 приведена кривая спроса.
	Эти расчеты были сделаны при допущении, что издержки не меняются в течение длительного промежутка времени. Однако, в реальных условиях постоянный рост стоимости энергоресурсов и непрекращающаяся инфляция издержек (рост затрат на сырье, материалы, комплектующие изделия, рабочую силу) приводит к увеличению издержек. Поэтому А.А. Пивень проанализировал оптимальный объем выпуска при их различных значениях. Данные его расчетов приведены в табл.1.7. Поскольку инфляция в нашей стране заметно искажает стоимостные характеристики, используем для их описания условные единицы (у.е.). 

Рис.1.1. Кривая спроса на изделие

Таблица 1.7
Прибыль в зависимости от цены и издержек
№ п/п
	Цена, у.е.	Объем 
продаж, шт.	Прибыль (тыс. у.е.) при издержках на единицу продукции, у.е.	
			1350	1400	1450	1500	1550	1600	1650	1700	
1	1 400	1600	80	0	-	-	-	-	-	-	
2	1 500	1500	225	150	75	0	-	-	-	-	
3	1 600	1200	300	240	180	120	60	0	-	-	
4	1 700	1000	350	300	250	200	150	100	50	0	
5	1 800	720	324	288	252	216	180	144	108	72	
6	1 900	500	275	250	225	200	175	150	125	100	
7	2 000	320	208	192	176	160	144	128	112	96	
8	2 100	170	127,5	119	110,5	102	93,5	85	76,5	68	
9	2 200	110	93,5	88	82,5	77	71,5	66	60,5	55	

	Для удобства рассмотренные результаты оптимальных объемов производства при соответствующих ценах приведены в табл. 1.8.

Таблица 1.8
Оптимальные выпуск и цена в зависимости от издержек
Издержки	1350	1400	1450	1500	1550	1600	1650	1700	
Оптимальный выпуск	1000	1000	720	720	720	500	500	500	
Цена	1700	1700	1800	1800	1800	1900	1900	1900	

	Как видно из табл. 1.8, увеличение издержек ведет к снижению оптимального выпуска при росте цены. Хотя изменение издержек на 50 у.е. может не сразу привести к изменению цены. Необоснованная цена может «переключить» большую группу потребителей на другое, аналогичное изделие, имеющее сходный по уровню набор технических характеристик, но более низкую рыночную цену.  
	По данным функции спроса (табл. 1.7) проведем расчет эластичности спроса по цене. Под ценовой эластичностью спроса понимается степень реагирования рыночного спроса на изменение цен. В классическом понимании эластичность спроса по цене показывает,  насколько изменится объем спроса при изменении цены на 1%. Спрос квалифицируется как эластичный, если понижение цены вызывает такой рост оборота, при котором увеличение объема продаж с лихвой компенсирует более низкие цены. Если же понижение цены, приводя к некоторому увеличению объема продаж, тем не менее, не ведет к увеличению оборота или даже уменьшает его, то такой спрос называется неэластичным. Коэффициент ценовой эластичности спроса определяется по формуле:

где Q1, Q2 – значения объема продаж; P1, P2 – значения цены изделия. 
	В рассматриваемом случае KЦЭС  будет различен на протяжении всей функции спроса (рис. 1.1). Однако, произведем расчет на той части кривой (в том диапазоне), где присутствует расчетная цена подъемника, а именно: Q1 = 1200 шт.; Q2 = 720 шт.; P1 = 1600 у.е.; P2 = 1800у.е. В этом случае 

	Коэффициент KЦЭС имеет отрицательный знак и абсолютную величину, значительно превышающую 1. Это говорит о сильной обратной зависимости объемов продаж от цены. Спрос на подъемник эластичен. Валовая выручка увеличивается при снижении цены и уменьшается при ее повышении. Компании необходимо быть готовой к тому, что покупатели очень чутко реагируют на всякое повышение цены на изделие значительным снижением объемов закупок. Как отмечает А.А. Пивень, снижение эластичности спроса на изделие возможно только при общем росте благосостояния населения страны и в частности, значительного роста доходной части бюджетов промышленных предприятий. 
 
1.5. Проверка однородности двух биномиальных выборок

	Проверка однородности – одна из базовых проблем, решаемых статистическими методами. Она часто обсуждается в литературе, а методы проверки однородности применяются при решении многих практических задач. Например, как сравнить две группы - мужчин и женщин, молодых и пожилых, и т.п.? В маркетинге это важно для сегментации рынка. Если две группы не отличаются по ответам, значит, их можно объединить в один сегмент и проводить по отношению к ним одну и ту же маркетинговую политику, в частности, осуществлять одни и те же рекламные воздействия. Если же две группы различаются, то и относиться к ним надо по-разному. Это - представители двух разных сегментов рынка, требующих разного подхода при борьбе за их завоевание. 
	Обсуждаемая далее постановка задачи в статистических терминах такова. Рассматривается вопрос с двумя возможными ответами, например, «да» и «нет». В первой группе из n1 опрошенных m1 человек сказали «да», а во второй группе из n2 опрошенных m2 сказали «да». В вероятностной модели предполагается, что m1 и m2 - биномиальные случайные величины B(n1, p1) и B(n2, p2) соответственно. Запись B(n, p) означает, что случайная величина m имеет биномиальное распределение с параметрами n - объем выборки и p - вероятность определенного ответа (скажем, ответа «да»). Такая случайная величина может быть представлена в виде суммы m = X1 + X2 +…+Xn , где случайные величины X1, X2,…, Xn независимы, одинаково распределены, принимают два значения 1 и 0, причем Р(Xi = 1) = р, Р(Xi = 0)= 1-р, i=1,2,…,n.
	Однородность двух групп означает, что соответствующие им вероятности равны, неоднородность - что эти вероятности отличаются. В терминах прикладной математической статистики задача ставится так: необходимо проверить гипотезу однородности
H0: p1 = p2
при альтернативной гипотезе о наличии эффекта
H1: p1  p2 
(Иногда представляют интерес односторонние альтернативные гипотезы  и .)
	Оценкой вероятности р1 является частота р1*=m1/n1, а оценкой вероятности р2 является частота р2*=m2/n2 . Даже при совпадении вероятностей р1 и р2 частоты, как правило, различаются. Как говорят, «по чисто случайным причинам». Рассмотрим случайную величину р1* - р2*. Тогда
M(р1* - р2*) = р1 - р2, D(р1* - р2*) = р1 (1 - р1)/n1 + р2(1-р2)/n2.
Из теоремы Муавра-Лапласа и теоремы о наследовании сходимости (см. главу 14 настоящего учебника]) следует, что 

где - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Для практического применения этого соотношения следует заменить неизвестную статистику дисперсию разности частот на оценку этой дисперсии:
D*(р1* - р2*) = р*1 (1 - р*1)/n1 + р*2 (1-р*2)/n2.
(Могут использоваться и другие оценки рассматриваемой дисперсии, например, при справедливости нулевой гипотезы - по объединенной выборке.) С помощью указанной выше математической техники можно показать, что при такой замене предельное распределение не меняется:
 
При справедливости гипотезы однородности (т.е. при отсутствии эффекта) M(р1* - р2*) = 0. Поэтому правило принятия решения при проверке однородности двух выборок выглядит так:
	1. Вычислить статистику

	2. Сравнить значение модуля статистика |Q| с граничным значением K. Если |Q|<K, то принять гипотезу однородности H0 . Если же |Q|>K, то заявить об отсутствии однородности и принять альтернативную гипотезу H1. 
	Граничное значение К определяется выбором уровня значимости статистического критерия проверки однородности. Из приведенных выше предельных соотношений следует, что при справедливости гипотезы однородности H0 для уровня значимости имеем (при 

Следовательно, граничное значение в зависимости от уровня значимости целесообразно выбирать из условия

Здесь - функция, обратная к функции стандартного нормального распределения. В социально-экономических исследованиях наиболее распространен 5% уровень значимости, т.е.  Для него К = 1,96.
	Пример 2. Пусть в первой группе из 500 опрошенных мужчин ответили «да» 200, а во второй группе из 700 опрошенных женщин сказали «да» 350. Есть ли разница по доле отвечающих «да» между генеральными совокупностями, представленными этими двумя группами?
	Для установления взаимопонимания с маркетологом уберем из формулировки примера относящийся к теории статистики термин «генеральная совокупность». Получим следующую постановку.
	Пусть из 500 опрошенных мужчин ответили «да, я люблю пепси-колу» 200, а из 700 опрошенных женщин 350 сказали «да, я люблю пепси-колу». Есть ли разница между мужчинами и женщинами по доле отвечающих «да» на вопрос о любви к пепси-коле?
	В рассматриваемом примере нужные для расчетов величины таковы:  Вычислим статистику 

Поскольку |Q| = 3,45 > 1,96, то необходимо отклонить нулевую гипотезу и принять альтернативную. Таким образом, мужчины и женщины отличаются по рассматриваемому признаку - любви к пепси-коле. 
	Результат проверки гипотезы однородности зависит не только от частот, но и от объемов выборок. Предположим, что частоты (доли) зафиксированы, а объемы выборок растут. Тогда числитель статистики Q не меняется, а знаменатель уменьшается, значит, вся дробь возрастает. Поскольку знаменатель стремится к 0, то дробь возрастает до бесконечности и рано или поздно превзойдет любую границу. Есть только одно исключение - когда в числителе стоит 0. Следовательно, при строгом подходе к формулировкам вывод статистика должен выглядеть так: «различие обнаружено» или «различие не обнаружено». Во втором случае различие, возможно, было бы обнаружено при увеличении объемов выборок.
	Как и для доверительного оценивания вероятности, во ВЦИОМ разработаны две полезные таблицы, позволяющие оценить вызванные чисто случайными причинами допустимые расхождения между частотами в группах. Эти таблицы рассчитаны при выполнении нулевой гипотезы однородности и соответствуют ситуациям, когда частоты близки к 50% (табл. 1.9) или к 20% (табл. 1.10). Если наблюдаемые частоты - от 30 до 70%, то рекомендуется пользоваться первой из этих таблиц, если от 10 до 30% или от 70 до 90% - то второй. Если наблюдаемые частоты меньше 10% или больше 90%, то теорема Муавра-Лапласа и основанные на ней асимптотические формулы дают не очень хорошие приближения, целесообразно применять иные, более продвинутые математические средства, в частности, приближения с помощью распределения Пуассона.
	В условиях разобранного выше примера табл. 1.9 дает допустимое расхождение 7%. Действительно, объем первой группы 500 отсутствует в таблице, но строки, соответствующие объемам 400 и 600, совпадают для первых двух столбцов слева. Эти столбцы соответствуют объемам второй группы 750 и 600, между которыми расположен объем 700, данный в примере. Он ближе к 750, поэтому берем величину расхождения, стоящую на пересечении первого столбца и второй (и третьей) строк, т.е. 7%. Поскольку реальное расхождение (10%) больше, чем 7%, то делаем вывод о наличии значимого различия между группами. Естественно, этот вывод совпадает с полученным ранее расчетным путем. 

Таблица 1.9
Допустимые расхождения (в %) между частотами
в двух группах, когда наблюдаются частоты от 30 до 70%
Объемы групп	750	600	400	200	100	
750	6	7	7	10	12	
600	7	8	8	11	13	
400	7	8	10	11	14	
200	10	11	11	13	16	
100	12	13	14	16	18	

Таблица 1.10
Допустимые расхождения (в %) между частотами в двух группах, когда наблюдаются частоты от 10 до 30% или от 70 до 90%
Объемы групп	750	600	400	200	100	
750	5	5	6	8	10	
600	5	6	7	8	10	
400	6	7	8	9	11	
200	8	8	9	10	12	
100	10	10	11	12	14	

	Как и в случае табл. 1.5, значения в табл. 1.9 и 1.10 несколько больше, чем рассчитанные по приведенным выше формулам. Дело в том, что таблицы ВЦИОМ связаны не с уровнем значимости  а с уровнем значимости  которому соответствует граничное значение 2,58. 
	Допустимое расхождение между частотами нетрудно получить расчетным путем. Для этого достаточно воспользоваться формулой для статистики Q и определить, при каком максимальном расхождении частот все еще делается вывод о том, что верна гипотеза однородности. Следовательно, допустимое расхождение  находится из уравнения

Таким образом,

Для данных примера 2 = 1,96  0,029 = 0,057, или 5,7%, для уровня значимости 0,05. 
	Для других уровней значимости надо использовать другие коэффициенты  Так, K(0,01) = 2,58 для уровня значимости 1% и K(0,10) = 1,64 для уровня значимости 10%. Для данных примера = 2,58  0,029 = 0,7482  0,075, или 7,5%, для уровня значимости 0,01. Если округлить до ближайшего целого числа процентов, то получим 7%, как при использовании таблицы 9 выше. 
	Анализ табл. 1.9 и 1.10 показывает, что для обнаружения эффекта (констатации различия генеральных совокупностей) частоты должны отличаться не менее чем на 6%. А при некоторых объемах выборок - более чем на 10%, например, при объемах выборок 100 и 100 - на 19%. Если же частоты отличаются на 5% или менее, можно сразу сказать, что статистический анализ приведет к выводу о том, что различие не обнаружено (для выборок объемов не более 750).
	В связи со сказанным возникает вопрос: каково типовое отличие частот в двух выборках из одной и той же совокупности? 	Разность частот в этом случае имеет нулевое математическое ожидание и дисперсию

Величина р(1 - р) достигает максимума при р = 1/2, и этот максимум равен 1/4. Если р = 1/2, а объемы двух выборок совпадают и равны 500, то дисперсия разности частот равна 

Следовательно, среднее квадратическое отклонение равно 0,032 или 3,2%. Поскольку для стандартной нормальной случайной величины в 50% случаев ее значение не превосходит по модулю 0,67 (а в 50% случаев - больше 0,67), то типовой разброс равен 0,67, а в рассматриваемом случае - 2,1%. 
	Приведенные соображения дают возможность построить метод контроля правильности (корректности) проведения повторных опросов. Если частоты излишне устойчивы, значения при повторных опросах слишком близки - это подозрительно! Возможно, нарушены правила проведения опросов, выборки не являются случайными, ответы фальсифицированы, и т.д.

Литература

1. Орлов А.И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.
2. Сэндидж Ч., Фрайбургер В., Ротцолл К. Реклама: теория и практика: Пер. с англ. - М.: Прогресс, 1989. - 630 с.
3. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1983. - 416 с.
4. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.

Контрольные вопросы и задачи

1. Почему выборочные исследования необходимы для решения многих практических задач?
2. Из партии продукции объема N = 100 изделий, содержащей D = 10 дефектных изделий, извлекают выборку объема n = 5. Для биномиальной и гипергеометрической моделей выборки рассчитайте распределения числа дефектных изделий в выборке, постройте и сравните функции распределения.
3. Какова роль теоремы Муавра-Лапласа в теории выборочных исследований?
	В задачах 4 - 8 выберите наиболее подходящий вариант ответа.
4. При какой цене максимальна прибыль в условиях пункта 1.1, если издержки (оптовая цена товара) равны 12? 
		А) 30; 		Б) 32; 		В) 35.
5. При исследовании предпочтений потребителей открытые вопросы: 
	А) труднее для опрашиваемых, но легче для обработки; 
	Б) легче для опрашиваемых, но труднее для обработки.
6. Пусть из 657 опрошенных 289 сказали «да». Доверительный интервал для доли отвечающих «да» в генеральной совокупности, соответствующий доверительной вероятности 0,95, таков:
	А) [0,245; 0,398];   Б) [0,435; 0,445];   В) [0,405; 0,556];   
	Г) [0,402; 0,478];   Д) [0,247; 0,633] .
7. Из 513 юношей 193 любят «Сникерс», а из 748 девушек – 327. Значение статистического критерия Q для проверки гипотезы о равенстве вероятностей равно: 
	А) 3,38; 	Б) -2,176; 	В) 0,25; 	Г) 12,56; 	Д) -0,173.
8. В условиях задачи 7 гипотеза об одинаковой привлекательности «Сникерса» для юношей и девушек (на уровне значимости 0,05):
 	А) принимается;  	Б) отклоняется.
9. Как понятие допустимого расхождения между частотами можно использовать при планировании выборочных исследований?
10. Рассчитайте коэффициент ценовой эластичности спроса по данным табл.1.1 при цене р = 35 и при цене р = 40.

Темы докладов, рефератов, исследовательских работ

1. Проведите выборочное исследование с целью построения оценки функции ожидаемого спроса на выбранный Вами товар (услугу).
2. Найдите адекватное приближение функции спроса в табл.1.1 с помощью метода наименьших квадратов.
3. Постройте экономико-математическую модель оптимизации цены при заданных функциях спроса (в зависимости о цены) и издержек (в зависимости от выпуска).
4. Сопоставьте теорию квотной выборки с теорией простой случайной выборки.
5. Рассмотрите статистическую теорию доверительного оценивания и проверки гипотез о равенстве вероятностей в случае нескольких возможных ответов (соответственно, с использованием мультиномиального распределения вместо биномиального).
6. В каких случаях может быть использована теория малых выборок (теорема Пуассона) для доверительного оценивания вероятности определенного ответа?

Глава 2. Описание данных 

	Выделяют три основные области статистических методов обработки результатов наблюдений – описание данных, оценивание (характеристик и параметров распределений, регрессионных зависимостей и др.) и проверка статистических гипотез.  
	Описание данных – предварительный этап статистической обработки. Используемые при описании данных величины применяются при дальнейших этапах статистического анализа – оценивании и проверке гипотез, а также при решении иных задач, возникающих при применении вероятностно-статистических методов принятия решений, например, при статистическом контроле качества продукции и статистическом регулировании технологических процессов. 

2.1. Модели порождения данных

	Статистические данные – это результаты наблюдений (измерений, испытаний, опытов, анализов). Функции результатов наблюдений, используемые, в частности, для оценки параметров распределений и (или) для проверки статистических гипотез, называют «статистиками». (Для математиков добавим, что речь идет об измеримых функциях.) Если в вероятностной модели результаты наблюдений рассматриваются как случайные величины (или случайные элементы), то статистики, как функции случайных величин (элементов), сами являются случайными величинами (элементами). Статистики, являющиеся выборочными аналогами характеристик случайных величин (математического ожидания, медианы, дисперсии, моментов и др.) и используемые для оценивания этих характеристик, называют статистическими характеристиками.
	Виды выборок. Основополагающее понятие в вероятностно-статистических методах принятия решений – выборка – это 
1) набор наблюдаемых значений или 
2) множество объектов, отобранных из изучаемой совокупности. 
Например, единицы продукции, отобранные из контролируемой партии или потока продукции для контроля и принятия решений. Наблюдаемые значения обозначим x1, x2,…, xn, где n – объем выборки, т.е. число наблюдаемых значений, составляющих выборку. О втором виде выборок уже шла речь в главе 1 при рассмотрении гипергеометрического распределения, когда под выборкой понимался набор единиц продукции, отобранных из партии. Там же обсуждалась вероятностная модель случайной выборки.
	В вероятностной модели выборки первого типа наблюдаемые значения обычно рассматривают как реализацию независимых одинаково распределенных случайных величин . Считают, что полученные при наблюдениях конкретные значения x1, x2,…, xn соответствуют определенному элементарному событию , т.е.
.
	При повторных наблюдениях будут получены иные наблюдаемые значения, соответствующие другому элементарному событию . Цель обработки статистических данных – по результатам наблюдений, соответствующим элементарному событию , сделать выводы о вероятностной мере Р и результатах наблюдений при различных возможных .
	Для выборок второго вида отбор объектов может проводиться в несколько этапов. Например, для входного контроля сигарет могут сначала отбираться коробки, в отобранных коробках – блоки, в выбранных блоках – пачки, а в пачках – сигареты. Четыре ступени отбора. Выборка будет обладать иными свойствами, чем простая случайная выборка из совокупности сигарет.
	Частоты. Из приведенного выше определения математической статистики следует: описание статистических данных дается с помощью частот. Частота – это отношение числа Х наблюдаемых единиц, которые принимают заданное значение или лежат в заданном интервале, к общему числу наблюдений n, т.е. частота – это Х/n. (В более старой литературе иногда Х/n называется относительной частотой, а под частотой имеется в виду Х. В старой терминологии можно сказать, что относительная частота – это отношение частоты к общему числу наблюдений.) 
	Число Х имеет биномиальное распределение, задаваемое вероятностью р того, что случайная величина, с помощью которой моделируются результаты наблюдений, принимает заданное значение или лежит в заданном интервале, и общим числом наблюдений n. Из закона больших чисел (теорема Бернулли) следует, что 

при n→∞ (сходимость по вероятности), т.е. частота сходится к вероятности. Теорема Муавра-Лапласа позволяет уточнить скорость сходимости в этом предельном соотношении (см. главу 1).
	Детерминированный и модельно-вероятностный подходы. В статистических методах есть два подхода к исходным данным – детерминированный и модельно-вероятностный. В первом из них данные рассматриваются сами по себе, без попыток связать их с какой-либо более общей ситуацией. Например, при анализе данных о производственной деятельности конкретного предприятия за конкретный период времени подсчитывается процент брака по конкретным технологическим процессам, число работников на различных должностях, объем реализованной продукции по месяцам. К этой же категории данных относятся различные виды отчетности – бухгалтерская, налоговая, статистическая (для органов Росстата). Преимущество детерминированного подхода - отсутствие каких-либо дополнительных предположений о данных. Недостаток состоит в невозможности обоснованного переноса выводов с конкретной ситуации на другие, ей аналогичные. Например, на другие периоды времени или на другие предприятия. При детерминированном подходе невозможно также оценить погрешность рассчитанных характеристик. 
	Чтобы выйти за пределы конкретной ситуации, необходимо использовать модельно-вероятностный подход, согласно которому основой алгоритмов расчетов является вероятностная модель порождения данных. Конкретные данные рассматриваются как реализации случайных величин, векторов, более общо – элементов, т.е как значения задающих их функций, определенных на вероятностном пространстве, в конкретной точке (элементарном событии ω).
	Наиболее распространенная вероятностная модель порождения данных – это модель случайной выборки. Согласно этой модели данные x1, x2, … , xn рассматриваются как реализация независимых одинаково распределенных случайных элементов (величин, векторов, множеств и других объектов нечисловой природы) X1 = X1(ω), X2 = X2(ω), … , Xn = Xn(ω), т.е. x1= X1(ω0), x2 = X2(ω0), … , xn = Xn(ω0) при некотором ω0 из пространства элементарных событий Ω. Модель выборки обычно используется для описания результатов независимых наблюдений, измерений, анализов. опытов.
	В некоторых случаях используют более специальные модели порождения данных. Например, при проведении испытаний на надежность используют план испытаний, согласно которому испытания прекращаются через время Т. Это значит, что фиксируются только моменты отказа изделий, которые произошли до момента Т. Пусть x1, x2, … , xn – наработки на отказ n изделий. Статистику доступны только значения y1, y2, … , yn, где yj = xj при xj < T и yj = T при xj > T. Такая выборка, в которой часть описывающих реальное явление случайных величин заменена граничным значением, называется цензурированной. Иногда используются и более сложные модели порождения данных. Например, если аппаратурой не фиксируются значения, меньшие некоторого порога, то выборка не только цензурирована, но и состоит из случайного числа элементов. Бывают и процедуры, когда минимальный и максимальный элементы выборки отбрасываются, а остальные предоставляются статистику, и т.д.
	Параметрические и непараметрические модели случайной выборки. Рассмотрим ситуацию, когда элементы выборки – числа. Модель описывается функцией распределения элементов выборки. Можно ли что-либо сказать об этой функции?
	В учебных курсах по теории вероятностей и математической статистике часто рассматривают различные параметрические семейства распределений числовых случайных величин. А именно, изучают семейства нормальных распределений, логарифмически нормальных, экспоненциальных, гамма-распределений, распределений Вейбулла-Гнеденко и др. Все они зависят от одного, двух или трех параметров. Поэтому для полного описания распределения достаточно знать (или оценить по выборке) одно, два или три числа. Очень удобно. Поэтому широко развита и представлена в литературе параметрическая теория математической статистики, в которой предполагается, что распределения результатов наблюдений принадлежат тем или иным параметрическим семействам.
	К сожалению, параметрические семейства существуют лишь в головах авторов учебников по теории вероятностей и математической статистике. В реальной жизни их нет. Поэтому прикладная статистика использует в основном непараметрические методы, в которых распределения результатов наблюдений могут иметь произвольный вид. 
	В настоящем разделе на примере нормального распределения подробно обоснуем невозможность практического использования параметрических семейств для описания распределений конкретных данных. В главе 4.2 разобраны параметрические методы отбраковки резко выделяющихся наблюдений и продемонстрирована невозможность практического использования ряда методов параметрической статистики, ошибочность выводов, к которым они приводят. В главе 5.1 рассмотрены непараметрические методы доверительного оценивания основных характеристик числовых случайных величин - математического ожидания, медианы, дисперсии, среднего квадратического отклонения, коэффициента вариации. 
	К настоящему времени непараметрические методы полностью покрывают область задач, которые ранее решались с помощью параметрической статистики. Поэтому можно порекомендовать использовать только непараметрическую статистику. Однако в литературе много внимания уделяется параметрическим методам, поэтому игнорировать в настоящем учебнике параметрическую статистику признано нецелесообразным.
	Часто ли распределение результатов наблюдений является нормальным? Статистические модели применяют при изучении и оптимизации процессов маркетинга, управления предприятием и регионом, точности и стабильности технологических процессов. Их используют в задачах надежности, обеспечения безопасности, в том числе экологической, для описания функционирования технических устройств и объектов, при разработке организационных схем и т.д. При этом зачастую используют те или иные параметрические семейства распределений вероятностей. Наиболее популярно нормальное распределение. Используют также логарифмически нормальное распределение, экспоненциальное распределение, гамма-распределение, распределение Вейбулла-Гнеденко и т.д. 
	Очевидно, всегда необходимо проверять соответствие моделей реальности. Возникают два вопроса. Отличаются ли реальные распределения от используемых в модели? Насколько это отличие влияет на выводы? 
	На примере нормального распределения покажем, что реальные распределения практически всегда отличаются от включенных в классические параметрические семейства. Имеющиеся отклонения от заданных семейств делают неверными выводы, основанные на использовании этих семейств. Например, выводы об отбраковке резко отличающихся наблюдений (выбросов). 
	Есть ли основания априори предполагать нормальность результатов измерений? 
	Иногда утверждают, что в случае, когда погрешность измерения (или иная случайная величина) определяется в результате совокупного действия многих малых факторов, то в силу Центральной предельной теоремы (ЦПТ) теории вероятностей (см. главу 14 настоящего учебника) эта величина хорошо приближается (по распределению) нормальной случайной величиной. Такое утверждение справедливо, если малые факторы действуют аддитивно и независимо друг от друга. Если же они действуют мультипликативно, то в силу той же ЦПТ аппроксимировать надо логарифмически нормальным распределением. В прикладных задачах обосновать аддитивность, а не мультипликативность действия малых факторов обычно не удается. Если же зависимость имеет общий характер, не приводится к аддитивному или мультипликативному виду, а также нет оснований принимать модели, дающие экспоненциальное, Вейбулла-Гнеденко, гамма или иные распределения, то о распределении итоговой случайной величины практически ничего не известно, кроме внутриматематических свойств типа регулярности.
	Экспериментальное изучение распределений погрешностей. При обработке конкретных данных иногда считают, что погрешности измерений имеют нормальное распределение. На предположении нормальности построены классические модели регрессионного, дисперсионного, факторного анализов, метрологические модели, которые еще продолжают встречаться как в отечественной ноpмативно-технической документации, так и в международных стандартах. На то же предположение опираются модели расчетов максимально достигаемых уровней тех или иных характеристик, применяемые при проектировании систем обеспечения безопасности функционирования экономических структур, технических устройств и объектов. Однако теоретических оснований для такого предположения нет. Необходимо экспериментально изучать распределения погрешностей.
	Что же показывают результаты экспериментов? Сводка в монографии [1] позволяет утверждать, что в большинстве случаев распределение погрешностей измерений отличается от нормального. Так, в Машинно-электротехническом институте (г. Варна, Болгария) исследовано распределение погрешностей градуировки шкал аналоговых электроизмерительных приборов. Изучались приборы, изготовленные в Чехословакии, СССР и Болгарии. Закон распределения погрешностей оказался одним и тем же. Он имеет плотность

	Проанализированы данные о параметрах 219 фактических распределений погрешностей, исследованных разными авторами, при измерении как электрических, так и иных физических величин самыми разнообразными (электрическими) приборами. В результате оказалось, что 111 распределений, т.е. примерно 50% , принадлежат классу распределений с плотностью

где  - параметр степени (формы); 
b - параметр сдвига; 
 - параметр масштаба; 
 - гамма-функция от аргумента ;

(см. [1, с. 56]); 63 распределения, т.е. 30%, имеют плотности с плоской вершиной и пологими длинными спадами и не могут быть описаны как нормальные или, например, экспоненциальные. Оставшиеся 45 распределений оказались двухмодальными.
	В монографии [1] приведены результаты исследования законов распределения для различного рода погрешностей измерения - электромеханических приборов на кернах, электронных приборов для измерения температур и усилий, цифровых приборов с ручным уравновешиванием. Объем выборок экспериментальных данных для каждого экземпляра составлял 100-400 отсчетов. Оказалось, что 46 из 47 распределений значимо отличались от нормального. Исследована форма распределения погрешностей у 25 экземпляров цифровых вольтметров Щ-1411 в 10 точках диапазона. Результаты аналогичны. 
	В лаборатории прикладной математики Тартуского государственного университета проанализировано более 2500 выборок из архива реальных статистических данных. В 92% гипотезу нормальности пришлось отвергнуть.
	Приведенные описания экспериментальных данных показывают, что погрешности измерений в большинстве случаев имеют распределения, отличные от нормальных. Это означает: большинство применений критерия Стьюдента, классического регрессионного анализа и других статистических методов, основанных на нормальной теории, строго говоря, не является обоснованным. Поскольку неверна лежащая в их основе аксиома нормальности распределений соответствующих случайных  величин.
	Очевидно, для оправдания или обоснованного изменения существующей практики анализа статистических данных требуется изучить свойства процедур анализа данных при «незаконном» применении. Изучение процедур отбраковки показало, что они крайне неустойчивы к отклонениям от нормальности, а потому применять их для обработки реальных данных нецелесообразно (см. главу 4.2); поэтому нельзя утверждать, что произвольно взятая процедура устойчива к отклонениям от нормальности.
	Иногда предлагают перед применением, например, критерия Стьюдента однородности двух выборок проверять нормальность. Хотя для этого имеется много критериев, но проверка нормальности - более сложная и трудоемкая статистическая процедура, чем проверка однородности (как с помощью статистик типа Стьюдента, так и с помощью непараметрических критериев). Для достаточно надежного установления нормальности требуется весьма большое число наблюдений. Так, чтобы гарантировать, что функция распределения результатов наблюдений отличается от некоторой нормальной не более, чем на 0,01 (при любом значении аргумента), требуется порядка 2500 наблюдений. В большинстве экономических, технических, медико-биологических и других прикладных исследований число наблюдений существенно меньше. Особенно это справедливо для данных, используемых при изучении проблем, связанных с обеспечением безопасности функционирования экономических структур и технических объектов.
	ЦПТ и нормальность. Иногда пытаются использовать ЦПТ для приближения распределения погрешности к нормальному, включая в технологическую схему измерительного прибора специальные сумматоры. Оценим полезность этой меры. Пусть Z1 , Z2 ,…, Zk - независимые одинаково распределенные случайные величины с функцией распределения H = H(x) такие, что 

Рассмотрим

Показателем обеспечиваемой сумматором близости к нормальности является

Тогда

Правое неравенство в последнем соотношении вытекает из оценок константы в неравенстве Берри-Эссеена, полученном в статье [2], а левое - из примера в монографии [3, с.140-141]. Для нормального закона  =1,6, для равномерного  = 1,3, для двухточечного  =1 (это - нижняя граница для ). Следовательно, для обеспечения расстояния (в метрике Колмогорова) до нормального распределения не более 0,01 для «неудачных» распределений необходимо не менее k0 слагаемых, где

В обычно используемых сумматорах слагаемых значительно меньше.
	Сужая класс возможных распределений H, можно получить более быструю сходимость, но теория здесь еще не позволяет сформулировать практических рекомендаций. Кроме того, неясно, обеспечивает ли близость распределения элементов выборки к нормальному (в определенной метрике) также и близость распределений статистик, т.е. функций от элементов выборки. Речь идет о сравнении распределения статистики, построенной по случайным величинам, полученным суммированием, с распределением статистики, соответствующей нормальным результатам наблюдений. Видимо, для каждой конкретной статистики необходимы специальные теоретические исследования, В задачах отбраковки выбросов ответ: «Не обеспечивает» (см. раздел 4.2 ниже).
	Результат любого реального измерения записывается с помощью конечного числа десятичных знаков, обычно небольшого (2-5), так что любые реальные данные целесообразно моделировать лишь с помощью дискретных случайных величин, принимающих сравнительно небольшое число значений. Нормальное распределение - лишь аппроксимация реального распределения. Например, данные конкретного исследования качества подшипников, приведенные в работе [4], принимают значения от 1,0 до 2,2, т.е. всего 13 возможных значений. Из принципа Дирихле следует, что в какой-то точке построенная по данным работы [4] функция распределения отличается от ближайшей функции нормального распределения не менее чем на 1/26, т.е. на 0,04. Кроме того, очевидно, что для нормального распределения случайной величины вероятность попасть в дискретное множество десятичных чисел с заданным числом знаков после запятой равна 0.
	Из сказанного выше следует: результаты измерений и вообще статистические данные имеют свойства, приводящие к тому, что моделировать их можно лишь случайными величинами с распределениями, более или менее отличными от нормальных. В большинстве случаев распределения существенно отличаются от нормальных. В других ситуациях нормальные распределения могут, видимо, рассматриваться как некоторая аппроксимация. Но никогда нет полного совпадения. Отсюда вытекает необходимость изучения свойств классических статистических процедур в неклассических вероятностных моделях (подобно тому, как это сделано в главе 5.2 для критерия Стьюдента). А также целесообразность разработки устойчивых (учитывающих наличие отклонений от нормальности) и непараметрических, в том числе свободных от распределения процедур, их широкого внедрения в практику статистической обработки данных.
	Опущенные здесь рассмотрения для других параметрических семейств приводят к аналогичным выводам. Итог можно сформулировать так. Распределения реальных данных практически никогда не входят в какое-либо конкретное параметрическое семейство. Реальные распределения всегда отличаются от тех, что включены в параметрические семейства. Отличия могут быть большими или малыми, но они всегда есть. 

2.2. Таблицы и диаграммы

	Исходные статистические данные могут быть достаточно обширными. В качестве примера приведем результаты экспертного опроса, проведенного Институтом высоких статистических технологий и эконометрики (табл. 2.1). В первом столбце приведены номера экспертов, в остальных четырех – четыре прогнозных значения, полученных от каждого эксперта. Отметим, что эксперт №28 не ответил на вопрос об инфляции. В таблицах реальных данных приходится сталкиваться с пропусками.
 
Таблица 2.1
Прогнозы экспертов на 8 декабря 1994 г. (сделаны 19.10.1994)
№ п/п	Курс доллара США, руб. 	Инфляция (%) за период прогноза	Цена батона белого хлеба, руб.	Цена 1 л молока, руб.	
(1)	(2)	(3)	(4)	(5)	
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33	4185
4270
3200
4000
3500
3800
3500
3300
4100
3560
4000
5200
4000
6000
4000
3400
3500
4200
3560
4300
4000
4500
4200
3900
5500
5000
5600
3900
4200
3680
4000
4600
4560	4,0
2,8
17,0
16,0
16,0
5,0
3,5
62,0
54,0
10,0
54,0
54,0
9,0
54,0
40,0
13,0
15,0
2,5
200,0
6,0
3,0
12,0
11,0
54,0
62,0
73,0
54,0
-
38,0
38,0
2,0
46,0
92,0	800
1028
760
950
820
1000
500
800
900
870
1000
1500
830
2000
950
750
1000
1000
940
950
1000
950
890
1000
1000
1000
1200
1500
950
850
840
1000
1300	1305
1322
755
1000
800
1000
1500
780
899
1050
1000
1500
1300
2000
1200
900
1250
1500
1200
1570
1100
1100
1100
1000
1400
1200
2000
1400
1100
1100
1100
1100
1400	

	Описание данных - это первичное сжатие информации с целью сделать ее более обозримой, легкой для восприятия. Самый древний способ – это составление различных таблиц, вторичных по отношению к таблицам исходных данных.
	Например, рассмотрим последний столбец табл.2.1. Для лучшего восприятия прогнозов экспертов о цене 1 л молока сгруппируем данные по интервалам, как это сделано в табл. 2.2.

Таблица 2.2
Прогнозируемая цена молока
№ п/п	Интервал, руб.	Число ответов	
1
2
3
4
5
6
7
8
9
10	700 – 799
800 – 899
900 – 999
1000 – 1099
1100 – 1199
1200 – 1299
1300 – 1399
1400 – 1499
1500 – 1599
2000
Всего	2
2
1
5
7
4
3
3
4
2
33	

	Группировка данных в табл. 2.2 по 10 интервалам может показаться слишком дробной. Нетрудно объединить градации и получить, например, табл. 2.3.

Таблица 2.3
Прогнозируемая цена молока (крупные градации)
№ п/п	Интервал, руб.	Число ответов	
1
2
3
4
5	700  – 999
1000 – 1299
1300 – 1599
2000
Всего	5
16
10
2
33	

	Сколько использовать градаций (т.е. строк в таблице)? Общих рекомендаций дать нельзя. Ответ зависит от цели статистического исследования, от структуры конкретных данных.
	Табличный материал может быть выражен в виде различных диаграмм, в том числе круговых и столбчатых. Несколько десятков лет назад были популярны гистограммы – столбчатые диаграммы, для которых интервалы группирования имеют одинаковую длину. 
	В настоящее время гистограммы рассматривают как устаревшие инструменты статистического анализа. Для описания массива данных рекомендуется использовать вариационные ряды, эмпирические функции распределения и – особенно настоятельно – непараметрические оценки плотности. 
 
2.3. Выборочные характеристики распределения

	Для описания данных применяют различные статистические характеристики. В качестве выборочной средней величины чаще всего используют выборочное среднее арифметическое, т.е. сумму значений рассматриваемой величины, полученных по результатам испытания выборки, деленную на ее объем:

где n – объем выборки; xi – результат измерения (испытания) i-ого элемента выборки.
	Другой вид выборочного среднего – выборочная медиана - определяется через порядковые статистики.
	Порядковые статистики – это члены вариационного ряда, который получается, если элементы выборки x1, x2,…, xn расположить в порядке неубывания:
х(1) < x(2) < … < x(k) < …< x(n).
	Пример 1. Для выборки x1 = 1, x2 = 7, x3 = 4, x4 = 2, x5  = 8, x6 = 0, x7 =5, x8 = 7 вариационный ряд имеет вид 0, 1, 2, 4, 5, 7, 7, 8, т.е. х(1) = 0 = x6, х(2) = 1 = x1, х(3) = 2 = x4, х(4) = 4 = x3, х(5) = 5 = x7, х(6) = х(7) = 7 = x2 = x8, х(8) = 8 = x5.
	В вариационном ряду элемент x(k) называется k-той порядковой статистикой. Порядковые статистики и функции от них широко используются в вероятностно-статистических методах принятия решений, в эконометрике и в других прикладных областях.
	Выборочная медиана  - результат наблюдения, занимающий центральное место в вариационном ряду, построенном по выборке с нечетным числом элементов, или полусумма двух результатов наблюдений, занимающих два центральных места в вариационном ряду, построенном по выборке с четным числом элементов. Таким образом, если объем выборки n – нечетное число, n = 2k+1, то медиана  = x(k+1), если же n – четное число, n = 2k, то медиана  = [x(k) + x(k+1)]/2, где x(k) и x(k+1) – порядковые статистики. 
	В качестве выборочных показателей рассеивания результатов наблюдений чаще всего используют выборочную дисперсию, выборочное среднее квадратическое отклонение и размах выборки. 
	Выборочная дисперсия s2 – это сумма квадратов отклонений выборочных результатов наблюдений от их среднего арифметического, деленная на объем выборки:  

Выборочное среднее квадратическое отклонение s – неотрицательный квадратный корень из дисперсии, т.е. 
	В некоторых литературных источниках выборочной дисперсией называют другую величину:

Она отличается от s2 постоянным множителем: 

Соответственно выборочным средним квадратическим отклонением в этих литературных источниках называют величину  Тогда, очевидно,

Различие в определениях приводит к различию в алгоритмах расчетов, правилах принятия решений и соответствующих таблицах. Поэтому при использовании тех или иных нормативно-технических и инструктивно-методических материалов, программных продуктов, таблиц необходимо обращать внимание на способ определения выборочных характеристик.
Выбор , а не s2, объясняется тем, что 

где Х – случайная величина, имеющая такое же распределение, как и результаты наблюдений. В терминах теории статистического оценивания это означает, что  - несмещенная оценка дисперсии. В то же время статистика s2 не является несмещенной оценкой дисперсии результатов наблюдений, поскольку

Однако у s2 есть другое свойство, оправдывающее использование этой статистики в качестве выборочного показателя рассеивания. 
	Для известных результатов наблюдений x1, x2,…, xn рассмотрим случайную величину Y с распределением вероятностей 

и Р(Y = х) = 0 для всех прочих х. Это распределение вероятностей называется эмпирическим. Тогда функция распределения Y – это эмпирическая функция распределения, построенная по результатам наблюдений x1, x2,…, xn. Вычислим математическое ожидание и дисперсию случайной величины Y:

Второе из этих равенств и является основанием для использования s2 в качестве выборочного показателя рассеивания.
	Математические ожидания выборочных средних квадратических отклонений М(s) и М(s0), вообще говоря, не равняются теоретическому среднему квадратическому отклонению σ. Например, если Х имеет нормальное распределение, объем выборки n = 3, то 

	Кроме перечисленных выше статистических характеристик, в качестве выборочного показателя рассеивания используют размах R – разность между n-й и первой порядковыми статистиками в выборке объема n, т.е. разность между наибольшим и наименьшим значениями в выборке: R = x(n) – x(1). 
В ряде вероятностно-статистических методов применяют и иные показатели рассеивания. В частности, в методах статистического регулирования процессов используют средний размах – среднее арифметическое размахов, полученных в определенном количестве выборок одинакового объема. Популярно и межквартильное расстояние, т.е. расстояние между выборочными квартилями x([0,75n]) и x([0,25n]) порядка 0,75 и 0,25 соответственно, где [0,75n] – целая часть числа 0,75n, а [0,25n] –целая часть числа 0,25n. 
	Подведем итоги. Целесообразно рассчитывать и приводить в документации статистического исследования в разделе «Описание данных» выборочные характеристики:
	- выборочное среднее арифметическое;
	- выборочную дисперсию;
	- выборочное среднее квадратическое отклонение;
	- выборочный коэффициент вариации ;
	- выборочную медиану;
	- минимум (первый член вариационного ряда);
	- максимум (последний член вариационного ряда);
	- размах;
	- моду (наиболее часто встречающееся значение) и амплитуду моды (число элементов выборки, равных моде);
	- верхний квартиль x([0,75n]);
	- нижний квартиль x([0,25n]);
	- межквартильное расстояние.
 
2.4. Эмпирическая функция распределения

	Чтобы от отдельных событий перейти к одновременному рассмотрению многих событий, используют накопленную частоту. Так называется отношение числа единиц, для которых результаты наблюдения меньше заданного значения, к общему числу наблюдений. Функция, которая выражает зависимость между значениями количественного признака и накопленной частотой, называется эмпирической функцией распределения. Итак, эмпирической функцией распределения Fn(x) называется доля элементов выборки, меньших x. Эмпирическая функция распределения содержит всю информацию о результатах наблюдений. Эмпирическая функция распределения - это функция введенного выше эмпирического распределения.
	Чтобы выразить эмпирическую функцию распределения не словами, а формулой, введем функцию с(х, у) двух переменных:

Случайные величины, моделирующие результаты наблюдений, обозначим . Тогда эмпирическая функция распределения Fn(x) имеет вид 

	Из закона больших чисел следует, что для каждого действительного числа х эмпирическая функция распределения Fn(x) сходится к функции распределения F(x) результатов наблюдений, т.е.
Fn(x) → F(x)   		(2.1)
при n → ∞. В.И. Гливенко (1897-1940) доказал в 1933 г. более сильное утверждение: сходимость в (2.1) равномерна по х, т.е. 
   	(2.2)
при n → ∞ (сходимость по вероятности).
	В (2.2) использовано обозначение sup (читается как «супремум»). Для функции g(x) под  понимают наименьшее из чисел a таких, что g(x)<a при всех x. Если функция g(x) достигает максимума в точке х0, то . В таком случае вместо sup пишут max. Хорошо известно, что не все функции достигают максимума.
	В том же 1933 г. А.Н. Колмогоров усилил результат В.И. Гливенко для непрерывных функций распределения F(x). Рассмотрим случайную величину

и ее функцию распределения

По теореме А.Н.Колмогорова

при каждом х, где К(х) – т.н. функция распределения Колмогорова.
	Рассматриваемая работа А.Н. Колмогорова породила одно из основных направлений математической статистики – т.н. непараметрическую статистику. И в настоящее время непараметрические критерии согласия Колмогорова, Смирнова, омега-квадрат широко используются. Они разработаны для проверки согласия с полностью известным теоретическим распределением, т.е. предназначены для проверки гипотезы . Основная идея критериев Колмогорова, омега-квадрат и аналогичных им состоит в измерении расстояния между функцией эмпирического распределения и функцией теоретического распределения. Различаются эти критерии видом расстояний в пространстве функций распределения. Аналитические выражения для предельных распределений статистик, расчетные формулы, таблицы распределений и критических значений широко распространены [5], поэтому не будем их приводить. 
	Непараметрическое оценивание функции распределения. По теореме Гливенко эмпирическая функция распределения Fn(x) является состоятельной оценкой функции распределения F(x). Если F(x) – непрерывная функция, то на основе теоремы Колмогорова доверительные границы для функции распределения F(x) задают в виде
(F(x))Н = max , (F(x))B = min ,
где k(γ,n) – квантиль порядка γ распределения статистики Колмогорова при объеме выборки n (напомним, что распределение этой статистики не зависит от F(x)).
	Правила определения оценок и доверительных границ иногда строятся на основе параметрического семейства распределений F(x;θ). При обработке реальных данных возникает вопрос – соответствуют ли эти данные принятой вероятностной модели? Т.е. статистической гипотезе о том, что результаты наблюдений имеют функцию распределения из семейства {F(x;θ), θΘ} при некотором θ = θ0? Такие гипотезы называют гипотезами согласия, а критерии их проверки – критериями согласия.
	Если истинное значение параметра θ = θ0 известно, функция распределения F(x;θ0) непрерывна, то для проверки гипотезы согласия часто применяют критерий Колмогорова, основанный на статистике

где Fn(x) – эмпирическая функция распределения. 
	Если истинное значение параметра θ0 неизвестно, например, при проверке гипотезы о нормальности распределения результатов наблюдения (т.е. при проверке принадлежности этого распределения к семейству нормальных распределений), то иногда используют статистику типа Колмогорова

Она отличается от статистики Колмогорова Dn тем, что вместо истинного значения параметра θ0 подставлена его оценка θ*. 
	Распределение статистики Dn(θ*) сильно отличается от распределения статистики Dn. В качестве примера рассмотрим проверку нормальности, когда θ = (m, σ2), а θ* = (, s2). Для этого случая квантили распределений статистик Dn и Dn(θ*) приведены в табл. 2.4 (см., например, [6]). Таким образом, квантили отличаются примерно в 1,5 раза.

Таблица 2.4
Квантили статистик Dn и Dn(θ*) при проверке нормальности
Значение функции распределения р	0,85	0,90	0,95	0,975	0,99	
Квантили порядка р для Dn 	1,138	1,224	1,358	1,480	1,626	
Квантили порядка р для Dn(θ*)	0,775	0,819	0,895	0,955	1,035	

2.5. Непараметрические оценки плотности

	Эмпирическая функция распределения – это состоятельная непараметрическая оценка функции распределения числовой случайной величины. А как оценить плотность? Если продифференцировать эмпирическую функцию распределения, то получим бесконечности в точках, соответствующих элементам выборки, и 0 во всех остальных. Ясно, что это не оценка плотности. 
	Как же действовать? Каждому элементу выборки соответствует в эмпирическом распределении вероятность 1/n, где n – объем выборки. Целесообразно эту вероятность не помещать в одну точку, а «размазать» вокруг нее, построив «холмик». Если «холмики» налегают друг на друга, то получаем положительную плотность на всей прямой. Чтобы получить состоятельную оценку плотности, необходимо выбирать ширину «холмика» в зависимости от объема выборки. При этом число «холмиков», покрывающих фиксированную точку, должно безгранично расти. Но одновременно доле таких «холмиков» следует убывать, поскольку покрывающие «холмики» должны быть порождены лишь ближайшими членами вариационного ряда. 
	Реализация описанной идеи привела к различным вариантам непараметрических оценок плотности. Основополагающей является работа члена-корреспондента АН СССР Н.В. Смирнова 1951 г. Вначале рассматривались непараметрические оценки плотности распределения числовых случайных величин и конечномерных случайных векторов. В 1980-х годах удалось сконструировать такие оценки в пространствах произвольной природы, а затем и для конкретных видов нечисловых данных [7]. 
	Чтобы определить понятие плотности, в пространстве Х должна быть выделена некоторая специальная мера , относительно которой будут рассматриваться плотности, соответствующие другим мерам, например, мере , задающей распределение вероятностей некоторого случайного элемента . В таком случае (А) = Р(А) для любого случайного события А. Плотность f(x), соответствующая мере  - это такая функция, что 

для любого случайного события А. Для случайных величин и векторов мера  - это объем множества А, в математических терминах - мера Лебега. 
	Как могут быть использованы непараметрические оценки плотности распределения вероятностей в пространствах нечисловой природы? Например, для решения задач классификации (диагностики, распознавания образов - см. главу 6.4). Зная плотности распределения классов, можно решать основные задачи диагностики - как задачи выделения кластеров, так и задачи отнесения вновь поступающего объекта к одному из диагностических классов. В задачах кластер-анализа можно находить моды плотности и принимать их за центры кластеров или за начальные точки итерационных методов типа k-средних или динамических сгущений. В задачах собственно диагностики (дискриминации, распознавания образов с учителем) можно принимать решения о диагностике объектов на основе отношения плотностей, соответствующих классам. При неизвестных плотностях представляется естественным использовать их состоятельные оценки. 
	Методы оценивания плотности вероятности в пространствах общего вида предложены и первоначально изучены в работе [8]. В частности, в задачах диагностики и кластер-анализа целесообразно использовать непараметрические ядерные оценки плотности типа Парзена - Розенблатта (этот вид оценок пространствах общего вида и его название впервые были введены в статье [8]):

 где К:  - так называемая ядерная функция, x1, x2, …, xn  X - выборка, по которой оценивается плотность, d(xi , x) - показатель различия (метрика, расстояние, мера близости) между элементом выборки xi  и точкой x, в которой оценивается плотность, последовательность hn  показателей размытости такова, что hn → 0 и nhn→ ∞ при , а  - нормирующий множитель, обеспечивающий выполнение условия нормировки (интеграл по всему пространству от непараметрической оценки плотности fn(x) по мере  должен равняться 1). Ранее американские исследователи Парзен и Розенблатт использовали подобные статистики в случае  с d(xi , x) = |xi  - x|.
	В качестве ядерной функции распределения можно взять функцию, равную 1/2 на отрезке [-1; 1] и 0 вне этого отрезка. Или плотность стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Показателем различия d(xi , x) может служить обычное евклидово расстояние. Показатель размытости  при любом α из интервала (0; 1) удовлетворяет введенным выше условиям.
	Введенные описанным выше образом ядерные оценки плотности - частный случай так называемых линейных оценок, также впервые предложенных в работе [8]. В теоретическом плане они выделяются тем, что удается получать результаты такого же типа, что в классическом одномерном случае, но с помощью совсем иного математического аппарата.
	Свойства непараметрических ядерных оценок плотности. Рассмотрим выборку со значениями в некотором пространстве, в котором заданы показатель различия d и мера . Одна из основных идей рассматриваемого подхода - согласовать их между собой. А именно, на их основе построим новый показатель различия d1 , так называемый «естественный», в терминах которого проще формулируются свойства непараметрической оценки плотности. Для этого рассмотрим шары  радиуса t > 0 и их меры Fx(t) = (Lt(x)). Предположим, что Fx(t) как функция t при фиксированной точке x непрерывна и строго возрастает. Введем функцию d1(x,y)= Fx(d(x,y)). Это - монотонное преобразование показателя различия или расстояния, а потому d1(x,y) - также показатель различия (даже если d - метрика, для d1 неравенство треугольника может быть не выполнено). Другими словами, d1(x,y), как и d(x,y), можно рассматривать как показатель различия (меру близости) между x и y. 
	Для вновь введенного показателя различия d1(x,y) введем соответствующие шары . Поскольку обратная функция F -1x(t) определена однозначно, то 
,
где T = F -1x(t). Следовательно, справедлива цепочка равенств 
F1х(t) = (L1t(x)) = (LT(x)) = Fx(F -1x(t)) = t
(для всех тех значений параметра t, для которых определены все участвующие в записи математические объекты). 
 	Переход от d к d1 напоминает классическое преобразование, использованное Н.В. Смирновым при изучении непараметрических критериев согласия и однородности, а именно, преобразование , переводящее случайную величину  с непрерывной функцией распределения F(x) в случайную величину , равномерно распределенную на отрезке [0,1]. Оба рассматриваемых преобразования существенно упрощают дальнейшие рассмотрения. Преобразование d1= Fx(d) зависит от точки x, что не влияет на дальнейшие рассуждения, поскольку ограничиваемся изучением сходимости в отдельно взятой точке.
	Функцию d1(x,y), для которой мера шара радиуса t равна t, называем в соответствии с работой [8] «естественным показателем различия» или «естественной метрикой». В случае конечномерного пространства Rk и евклидовой метрики d имеем d1(x,y) = ck dk(x,y), где ck  - объем шара единичного радиуса в Rk .
	Поскольку можно записать, что 
,
где 
,
 то переход от одного показателя различия к другому, т.е. от d к d1, соответствует переходу от одной ядерной функции к другой, т.е. от K к K1. Выгода от такого перехода заключается в том, что утверждения о поведении непараметрических оценок плотности приобретают более простую формулировку.
	Теорема 2.1. Пусть d - естественная метрика, плотность f непрерывна в точке x и ограничена на всем пространстве X , причем f(x) > 0, ядерная функция K(u) удовлетворяет простым условиям регулярности
.
Тогда n(hn ,x) = nhn, оценка fn(x) является состоятельной, т.е. fn(x)  f(x) по вероятности при n и, кроме того,

	Теорема 2.1 доказывается методами, развитыми в работе [8]. Однако остается открытым вопрос о скорости сходимости ядерных оценок, в частности, о поведении величины n = M(fn(x)-f(x))2 - среднего квадрата ошибки,  и об оптимальном выборе показателей размытости hn . Для того, чтобы продвинуться в решении этого вопроса, введем новые понятия. Для случайного элемента X() со значениями в X рассмотрим т.н. круговое распределение G(x,t) = P{d(X(), x)<t} и круговую плотность g(x,t)= G't(x,t).
	Теорема 2.2. Пусть ядерная функция K(u) непрерывна и финитна, т.е. существует число E такое, что K(u) = 0 при u > E. Пусть круговая плотность является достаточно гладкой, т.е. допускает разложение

при некотором k, причем остаточный член равномерно ограничен на [0, hE]. Пусть

Тогда

	Доказательство теоремы 2.2 проводится с помощью разработанной в нечисловой статистике математической техники, образцы которой представлены, в частности, в работе [8]. Если коэффициенты при основных членах в правой части последней формулы не равны 0, то величина n достигает минимума, равного при  Эти выводы совпадают с классическими результатами, полученными ранее рядом авторов для весьма частного случая прямой X = R1 . Для уменьшения смещения оценки приходится применять знакопеременные ядра K(u).
	Непараметрические оценки плотности лучше, чем гистограммы, отражают эмпирическое распределение. Однако для расчета таких  оценок необходимо использование вычислительной техники. Программная реализация описания статистических данных с помощью непараметрических оценок плотности включена в ряд программных продуктов по статистическим методам. Примерами являются диалоговая система анализа данных ДИСАН и пакет программ анализа данных ППАНД [9], разработанные под научным руководством автора настоящего учебника. 

Литература 

1. Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. - Л.: Энергоатомиздат, 1985. - 248 с. 
2. Шевцова И.Г. Уточнение абсолютной константы в классическом неравенстве Берри-Эссеена. – Статистические методы оценивания и проверки гипотез: межвузовский сборник научных трудов / Пермский государственный университет. – Пермь, 2008. – С.159 – 168.
3. Петров В.В. Суммы независимых случайных величин.  - М.: Наука, 1972. - 416 с.
4. Егорова Л.А., Харитонов Ю.С., Соколовская Л.В. О применении непараметрического Х-критерия Ван-дер-Вардена при статистической обработке результатов наблюдений // Заводская лаборатория. - 1976. - Т.42. - № 11. - С.1237-1237. 
5. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.). -  416 с.
6. Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат // Заводская лаборатория. - 1985. - Т.51. - №1. - С.60-62.
7. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.
8. Орлов А.И. Непараметрические оценки плотности в топологических пространствах // Прикладная статистика. / Ученые записки по статистике, т.45. - М.: Наука, 1983. - С. 12-40. 
9. Пакет программ анализа данных «ППАНД». Учебное пособие / Легостаева И.Л., Орлов А.И., Черномордик О.М и др. - М.: Сотрудничающий центр ВОЗ по профессиональной гигиене, 1990. - 93 с. 

Контрольные вопросы и задачи
 
1. Часто ли результаты измерений имеют нормальное распределение?
2. По выборке фактических данных о величине годового дохода (в тыс. долл.), взятых на конец 1970-х гг. (США), постройте вариационный ряд, гистограмму (группируя данные по 6-ти равным интервалам); определить выборочные среднее арифметическое, медиану и моду:
2,0; 13,4; 2,2; 6,7; 11,1; 10,0; 2,6; 12,9; 10,5; 9,2; 11,1;
14,0; 26,0; 17,5; 7,2; 18,7; 9,9; 7,6; 11,7;11,3; 6,5.
3. Дано распределение по градациям (табл. 2.5) почасовой зарплаты 303 рабочих, занятых в промышленности (fi - число рабочих, имеющих почасовую зарплату xi). Постройте эмпирическую функцию распределения, найти выборочные медиану, моду и среднее арифметическое. 

Таблица 2.5
Распределение рабочих по ставкам почасовой оплаты
xi	2,5	2,6	2,7	2,8	2,9	3,0	3,1	3,2	3,3	3,4	
fi	10	25	41	74	58	34	17	14	11	3	

4. Как связаны эмпирическое распределение и эмпирическая функция распределения?
5. Можно ли проверять нормальность распределения с помощью критерия согласия Колмогорова?
6. Приведите конкретные примеры непараметрических оценок плотности. 
7. Почему описание числовых данных с помощью непараметрических оценок плотности предпочтительнее их описания с помощью гистограмм? 

Темы докладов, рефератов, исследовательских работ

1. Сравнение непараметрических и параметрических подходов к анализу статистических данных.
2. Различные виды статистических таблиц.
3. Методы наглядного представления статистических данных.
4. Система выборочных характеристик распределения. 
5. Проведите описание данных, приведенных в табл. 2.1 (раздел 2.2) в столбцах (2), (3) и (4). Постройте таблицы (типа табл. 2.2 и 2.3 там же), рассчитайте выборочные характеристики.
6. Аналоги эмпирической функции распределения.
7. Методы изучения асимптотических распределений статистик типа Колмогорова.
8. Ядерные непараметрические оценки плотности и оценки, основанные на разложении плотности в ряд по базисным функциям.
9. Непараметрические оценки плотности в непрерывных и дискретных пространствах.

Глава 3. Оценивание 

3.1. Методы оценивания параметров 
 
	Статистические методы иногда опираются на разнообразные параметрические модели. Термин «параметрический» означает: вероятностно-статистическая модель полностью описывается конечномерным вектором фиксированной размерности. Причем эта размерность не зависит от объема выборки.
	Рассмотрим выборку x1, x2,…, xn из распределения с плотностью f(x;θ0), где f(x;θ0)- элемент параметрического семейства плотностей распределения вероятностей {f(x;θ), θєΘ}. Здесь Θ – заранее известное k-мерное пространство параметров, являющееся подмножеством евклидова пространства Rk, а конкретное значение параметра θ0 статистику неизвестно. Обычно в прикладной статистике применяются параметрические семейства с k = 1, 2, 3. В статистике нечисловых данных вместо плотности часто рассматриваются вероятности попадания в точки. В параметрических задачах оценивания принимают вероятностную модель, согласно которой результаты наблюдений x1, x2,…, xn рассматривают как реализации n независимых случайных величин. 
	Задача оценивания - оценить неизвестное статистику значение параметра θ0 наилучшим (в каком-либо смысле) образом.
	Пример 1. В статистических задачах стандартизации и управления качеством используют семейство гамма-распределений. Плотность гамма-распределения имеет вид
		(3.1)
Плотность вероятности в формуле (3.1) определяется тремя параметрами a, b, c, где a > 2, b > 0. При этом a является параметром формы, b - параметром масштаба и с - параметром сдвига. Множитель 1/Γ(а) является нормировочным, он введен, чтобы

Здесь Γ(а) - одна из используемых в математике специальных функций, так называемая «гамма-функция», по которой названо и распределение, задаваемое формулой (3.1),

Подробные решения задач оценивания параметров для гамма-распределения содержатся в разработанном нами государственном стандарте ГОСТ 11.011-83 «Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения» [1]. В настоящее время эта публикация используется в качестве методического материала для инженерно-технических работников промышленных предприятий и прикладных научно-исследовательских институтов.
	Поскольку гамма-распределение зависит от трех параметров, то имеется 23 – 1 = 7 вариантов постановок задач оценивания. Они описаны в табл. 3.1. 
Таблица 3.1
Постановки задач оценивания  параметров гамма-распределения
№ п/п	Параметр формы	Параметр масштаба	Параметр сдвига	
1	Известен	Оценивается	Известен	
2	Оценивается	Известен	Известен	
3	Известен	Известен	Оценивается	
4	Оценивается	Оценивается	Известен	
5	Известен	Оценивается	Оценивается	
6	Оценивается	Известен	Оценивается	
7	Оценивается	Оценивается	Оценивается	

	В табл. 3.2 приведены реальные данные о наработке резцов до предельного состояния, в часах. Упорядоченная выборка (вариационный ряд) объема n = 50 взята из государственного стандарта [1]. Проверка согласия данных о наработке резцов с семейством гамма-распределений проведена в главе 4.1. Именно эти данные будут служить исходным материалом для демонстрации тех или иных методов оценивания параметров.

Таблица 3.2
Наработка резцов до предельного состояния, ч
№ п/п	Наработка, ч	№ п/п	Наработка, ч	№ п/п	Наработка, ч	
1	9	18	47,5	35	63	
2	17,5	19	48	36	64,5	
3	21	20	50	37	65	
4	26,5	21	51	38	67,5	
5	27,5	22	53,5	39	68,5	
6	31	23	55	40	70	
7	32,5	24	56	41	72,5	
8	34	25	56	42	77,5	
9	36	26	56,5	43	81	
10	36,5	27	57,5	44	82,5	
11	39	28	58	45	90	
12	40	29	59	46	96	
13	41	30	59	47	101,5	
14	42,5	31	60	48	117,5	
15	43	32	61	49	127,5	
16	45	33	61,5	50	130	
17	46	34	62			

	Выбор «наилучших» оценок в определенной параметрической модели прикладной статистики – научно-исследовательская работа, растянутая во времени. Выделим два этапа. 
	Этап асимптотики: оценки строятся и сравниваются по их свойствам при безграничном росте объема выборки. На этом этапе рассматривают такие характеристики оценок, как состоятельность, асимптотическая эффективность и др. 
	Этап конечных объемов выборки: оценки сравниваются, скажем, при n = 10. Ясно, что исследование начинается с этапа асимптотики: чтобы сравнивать оценки, надо сначала их построить и быть уверенными, что они не являются абсурдными (такую уверенность дает доказательство состоятельности). 
	С какой оценки начинать? Одним из наиболее известных и простых в употреблении методов является метод моментов. Название связано с тем, что этот метод опирается на использование выборочных моментов

где x1, x2,…, xn – выборка, т.е. набор независимых одинаково распределенных случайных величин с числовыми значениями. 
	В прикладной статистике метод анализа данных называется методом моментов, если он использует статистику
		(3.2)
где g: Rq → Rk – некоторая функция (здесь k – число неизвестных числовых параметров). 
	Чаще всего термин «метод моментов» используют, когда речь идет об оценивании параметров. В этом случае обычно предполагают, что плотность вероятности распределения элементов выборки f(x) входит в заранее известное статистику параметрическое семейство {f(x;θ), θєΘ}, т.е. f(x) = f(x;θ0) при некотором θ0. Здесь Θ – заранее заданное k-мерное пространство параметров, являющееся подмножеством евклидова пространства Rk, а конкретное значение параметра θ0 статистику неизвестно, его и следует оценить. Известно также, что неизвестный параметр определяется с помощью известной статистику функции через начальные моменты элементов выборки:
		(3.3)
В методе моментов в качестве оценки θ0 используют статистику Yn вида (3.2), которая отличается от правой части формулы (3.2) заменой теоретических моментов заменены выборочными. 
	Статистики Yn вида (3.2) применяются не только для оценивания параметров, но и для непараметрического оценивания характеристик случайной величины, таких, как коэффициент вариации, и для проверки гипотез. Во всех случаях применения статистики Yn вида (3.2) говорят о методе моментов.
	Распределение вектора Yn во всех практически важных случаях является асимптотически нормальным. Это утверждение опирается на следующий общий факт.
	Пусть случайный вектор Zn  Rq асимптотически нормален с математическим ожиданием z∞ и ковариационной матрицей ||cij||/n, а функция h: Rq → R1 достаточно гладкая. Тогда случайная величина h(Zn) асимптотически нормальна с математическим ожиданием h(z∞) и дисперсией
		(3.4)
Этот способ нахождения предельного распределения известен как δ-метод Рао, метод линеаризации. Последний термин и будем использовать. Условия регулярности, накладываемые на распределение случайной величины Zn и функцию h, при которых метод линеаризации обоснован, хорошо известны (см. главу 14 настоящего учебника).
	Для получения асимптотического распределения статистики Yn вида (3.2) можно применить метод линеаризации к асимптотически нормальному вектору выборочных моментов (Mn1, Mn2, …, Mnq) и функции g из формулы (3.2).
	В силу многомерной центральной предельной теоремы (см. главу 14) указанная асимптотическая нормальность имеет место, если, например,

Это условие выполнено, в частности, для результатов измерений, распределения которых сосредоточены на ограниченных сверху и снизу интервалах. 
	При реализации намеченного плана для применения формулы (3.4) необходимо использовать асимптотические дисперсии и ковариации выборочных моментов, т.е. величины, обозначенные в формуле (3.4) как crs. Эти величины имеют вид:

  (3.5)
Здесь μr – теоретический центральный момент порядка r, т.е.

Таким образом, для получения асимптотического распределения случайной величины Yn вида (3.2) достаточно знать теоретические центральные моменты результатов наблюдений и вид функции g. Асимптотическим смещением оценок в рассматриваемом случае можно пренебречь, поскольку его вклад в средний квадрат ошибки статистической оценки – бесконечно малая величина более высокого порядка по сравнению с асимптотической дисперсией. 
	Однако моменты неизвестны. Их приходится оценивать. Согласно теоремам о наследовании сходимости для нахождения асимптотического распределения функции от выборочных моментов можно воспользоваться не теоретическими моментами, а их состоятельными оценками. Эти оценки можно получить разными способами. Можно непосредственно применить формулы (3.5), заменив теоретические моменты выборочными. Можно выразить моменты через параметры рассматриваемого распределения. Можно применять более сложные процедуры, например, на основе непараметрических устойчивых (робастных) оценок моментов типа урезанных средних Пуанкаре и др. (в первой в России книге по общей теории устойчивости [2] проблематика робастных оценок рассмотрена в главе 2).
	Для оценивания параметров гамма-распределения воспользуемся известной формулой [1], согласно которой для случайной величины Х, имеющей гамма-распределение с параметрами формы а, масштаба b =1 и сдвига c=0,  
		(3.6)
Следовательно, M(X) = a, M(X2) = a(a+1), D(X) = M(X2) – (M(X))2 = a(a+1) – a2 = a. Найдем третий центральный момент M(X – M(X))3. Справедливо равенство
M(X – M(X))3 = M(X3) – 3 M(X2) M(X) + 3 M(X) (M(X))2 - (M(X))3.
Из равенства (3.6) вытекает, что 
M(X – M(X))3 = a(a+1)(a+2) – 3 a (a+1) a + 3 a a2 – a3 = 2a.
	Если Y – случайная величина, имеющая гамма-распределение с произвольными параметрами формы a, масштаба b и сдвига c, то Y = bX + c. Следовательно, M(Y) = ab+c, D(Y) = ab2, M(Y – M(Y))3 = 2ab3.
	Пример 2. Оценивание методом моментов параметров гамма-распределения в случае трех неизвестных параметров (строка 7 табл. 3.1).
	В соответствии с проведенными выше рассуждениями для оценивания трех параметров достаточно использовать три выборочных момента – выборочное среднее арифметическое

выборочную дисперсию

и выборочный третий центральный момент

Приравнивая теоретические моменты, выраженные через параметры распределения, и выборочные моменты, получаем систему уравнений метода моментов:

Решая эту систему, находим оценки метода моментов.  Подставляя второе уравнение в третье, получаем оценку метода моментов для параметра сдвига:  

Подставляя эту оценку во второе уравнение, находим оценку метода моментов для параметра формы:

Наконец, из первого уравнения находим оценку для параметра сдвига:

Для реальных данных [1], приведенных выше в табл. 3.2, выборочное среднее арифметическое  = 57,88, выборочная дисперсия s2 = 663,00, выборочный третий центральный момент m3 = 14927,91. Согласно только что полученным формулам оценки метода моментов таковы:
a* = 5,23; b* = 11,26, c* = - 1,01.
	Оценки параметров гамма-распределения, полученные методом моментов, являются функциями от выборочных моментов. В соответствии со сказанным выше они являются асимптотически нормальными случайными величинами. 

Таблица 3.3
Оценки метода моментов и их асимптотические дисперсии
№ п/п	Описание вероятностной модели	Оцени-ваемый пара-метр	Вид оценки	Асимптотическая дисперсия оценки	
	a	b	c				
(1)	(2)	(3)	(4)	(5)	(6)	(7)	
1	-	-	+	a			
2	-	-	+	b			
3	-	-	-	a			
4	-	-	-	b			
5	-	-	-	c			
6	+	-	-	b			
7	+	-	-	c			
8	-	+	-	A			
9	-	+	-	c			
10	+	+	-	c			
	Примечание. При описании вероятностной модели известные статистику параметры отмечены плюсами, оцениваемые – минусами.

	Их распределения аппроксимируются нормальными распределениями, математические ожидания которых равны соответствующим  параметрам, а дисперсии находятся с помощью формулы (3.4) с учетом формул (3.5) и (3.6). В табл. 3.3 приведены оценки метода моментов и их асимптотические дисперсии при различных вариантах сочетания известных и неизвестных параметров гамма-распределения.
	Все оценки метода моментов, приведенные в табл. 3.3, включены в государственный стандарт [1]. Они охватывают все постановки задач оценивания параметров гамма-распределения (см. табл. 3.1) , кроме тех, когда неизвестен только один параметр – a или b. Для этих исключительных случаев в [1] разработаны специальные методы оценивания. 
	Поскольку асимптотическое распределение оценок метода моментов известно, то не представляет труда формулировка правил проверки статистических гипотез относительно значений параметров распределений, а также построение доверительных границ для параметров. Например, в вероятностной модели, когда все три параметра неизвестны, в соответствии с третьей строкой таблицы 3.3 нижняя доверительная граница для параметра а, соответствующая доверительной вероятности γ = 0,95, в асимптотике имеет вид

а верхняя доверительная граница для той же доверительной вероятности такова

где а* - оценка метода моментов параметра формы (табл. 3.3).
	Метод моментов является универсальным. Однако получаемые с его помощью оценки лишь в редких случаях обладают оптимальными свойствами. Поэтому в прикладной статистике применяют и другие виды оценок.
	В работах, предназначенных для первоначального знакомства с математической статистикой, обычно рассматривают оценки максимального правдоподобия (ОМП):
		(3.7)
Таким образом, сначала строится плотность распределения вероятностей, соответствующая выборке. Поскольку элементы выборки независимы, то эта плотность представляется в виде произведения плотностей для отдельных элементов выборки. Совместная плотность рассматривается в точке, соответствующей наблюденным значениям. Это выражение как функция от параметра (при заданных элементах выборки) называется функцией правдоподобия. Затем тем или иным способом ищется значение параметра, при котором значение совместной плотности максимально. Это и есть оценка максимального правдоподобия.
	Хорошо известно, что оценки максимального правдоподобия входят в класс наилучших асимптотически нормальных оценок (строгое определение дано ниже). Однако при конечных объемах выборки в ряде задач ОМП недопустимы, т.к. они хуже (дисперсия и средний квадрат ошибки больше), чем другие оценки, в частности, несмещенные. Именно поэтому в ГОСТ 11.010-81 для оценивания параметров отрицательного биномиального распределения используются несмещенные оценки, а не ОМП [3]. Из сказанного следует: априорно предпочитать ОМП другим видам оценок можно – если можно – лишь на этапе изучения асимптотического поведения оценок.
	В отдельных случаях ОМП находятся явно, в виде конкретных формул, пригодных для вычисления.
	Пример 3. Найдем ОМП для выборки из нормального распределения, каждый элемент которой имеет плотность

Таким образом, надо оценить двумерный параметр (m, σ2).
	Произведение плотностей вероятностей для элементов выборки, т.е. функция правдоподобия, имеет вид
 		(3.8)
Требуется решить задачу оптимизации 

	Как и во многих иных случаях, задача оптимизации проще решается, если прологарифмировать функцию правдоподобия, т.е. перейти к функции
,
называемой логарифмической функцией правдоподобия. Для выборки из нормального распределения
		 (3.9)
	Необходимым условием максимума является равенство 0 частных производных от логарифмической функции правдоподобия по параметрам, т.е.
		 (3.10)
Система (3.10) называется системой уравнений максимального правдоподобия. В общем случае число уравнений равно числу неизвестных параметров, а каждое из уравнений выписывается путем приравнивания 0 частной производной логарифмической функции правдоподобия по тому или иному параметру. 
	При дифференцировании по m первые два слагаемых в правой части формулы (3.9) обращаются в 0, а последнее слагаемое дает уравнение
.
Следовательно, оценкой m* максимального правдоподобия параметра m является выборочное среднее арифметическое, 
.
	Для нахождения оценки дисперсии необходимо решить уравнение

Легко видеть, что

Следовательно, оценкой (σ2)* максимального правдоподобия для дисперсии σ2 с учетом найденной ранее оценки для параметра m является выборочная дисперсия,

Итак, система уравнений максимального правдоподобия решена аналитически, ОМП для математического ожидания и дисперсии нормального распределения – это выборочное среднее арифметическое и выборочная дисперсия. Отметим, что последняя оценка является смещенной. 
	В условиях примера 3 оценки метода максимального правдоподобия совпадают с оценками метода моментов. Причем вид оценок метода моментов очевиден и не требует проведения каких-либо рассуждений.
	В большинстве случаев аналитических решений не существует, для нахождения ОМП необходимо применять численные методы. Так обстоит дело, например, с выборками из гамма-распределения или распределения Вейбулла-Гнеденко. Во многих работах каким-либо итерационным методом решают систему уравнений максимального правдоподобия или впрямую максимизируют функцию правдоподобия типа (3.8).
	Однако применение численных методов порождает многочисленные проблемы. Сходимость итерационных методов требует обоснования. В ряде примеров функция правдоподобия имеет много локальных максимумов, а потому естественные итерационные процедуры не сходятся. Для данных ВНИИ железнодорожного транспорта, относящихся к усталостным испытаниям стали, уравнение максимального правдоподобия имеет 11 корней [3]. Какой из одиннадцати использовать в качестве оценки параметра? 
	Как следствие осознания указанных трудностей, стали появляться работы по доказательству сходимости алгоритмов, предназначенных для нахождения оценок максимального правдоподобия для конкретных вероятностных моделей и конкретных алгоритмов. 
	Однако теоретическое доказательство сходимости итерационного алгоритма – это еще не всё. Возникает вопрос об обоснованном выборе момента прекращения вычислений в связи с достижением требуемой точности. В большинстве случаев он не решен. 
	Но и это не все. Точность вычислений необходимо увязывать с объемом выборки – чем он больше, тем точнее надо находить оценки параметров, в противном случае нельзя говорить о состоятельности метода оценивания. Более того, при увеличении объема выборки необходимо увеличивать и количество используемых в компьютере разрядов, переходить от одинарной точности расчетов к двойной и далее к тройной, четверной и т.д. – опять-таки ради достижения состоятельности оценок. 
	Таким образом, при отсутствии явных формул для оценок максимального правдоподобия нахождение ОМП натыкается на ряд проблем вычислительного характера. Специалисты по математической статистике позволяют себе игнорировать все эти проблемы, рассуждая об ОМП в теоретическом плане. Однако специалисты по прикладной статистике не может их игнорировать. Отмеченные проблемы ставят под вопрос целесообразность практического использования ОМП.
	Нет необходимости абсолютизировать ОМП. Кроме них, существуют другие виды оценок, обладающих хорошими статистическими свойствами. Примером являются одношаговые оценки (ОШ-оценки), обсуждаемые ниже.
	В прикладной статистике разработано много видов оценок. Упомянем квантильные оценки, основанные на идее, аналогичной методу моментов, но только вместо выборочных и теоретических моментов приравниваются выборочные и теоретические квантили. Другая группа оценок базируется на идее минимизации расстояния (показателя различия) между эмпирическими данными и элементом параметрического семейства. В простейшем случае минимизируется евклидово расстояние между эмпирическими и теоретическими гистограммами, а точнее, векторами, составленными из высот столбиков гистограмм. 

3.2. Одношаговые оценки

	Одношаговые оценки имеют столь же хорошие асимптотические свойства, что и оценки максимального правдоподобия, при тех же условиях регулярности, что и ОМП. Грубо говоря, они представляют собой результат первой итерации при решении системы уравнений максимального правдоподобия по методу Ньютона-Ватсона. Одношаговые оценки выписываются в виде явных формул, а потому требуют существенно меньше машинного времени, а также могут применяться при ручном счете (на калькуляторах). Снимаются вопросы о сходимости алгоритмов, о выборе момента прекращения вычислений, о влиянии округлений при вычислениях на окончательный результат. ОШ оценки были использованы при разработке ГОСТ 11.011-83 вместо ОМП.  
	Как и раньше, рассмотрим выборку x1, x2,…, xn из распределения с плотностью f(x;θ0), где f(x;θ0)- элемент параметрического семейства плотностей распределения вероятностей {f(x;θ), θєΘ}. Здесь Θ – известное статистику k-мерное пространство параметров, являющееся подмножеством евклидова пространства Rk, а конкретное значение параметра θ0  неизвестно. Его и будем оценивать.
	Обозначим θ =(θ1, θ2,…, θk). Рассмотрим вектор-столбец частных производных логарифма плотности вероятности

и матрицу частных производных второго порядка для той же функции

	Положим

	Пусть матрица информации Фишера I(θ0) = M[-bn(θ0)] положительно определена.
	Определение 1. Оценку θ(n) параметра θ0 называют наилучшей асимптотически нормальной оценкой (сокращенно НАН-оценкой), если распределение случайного вектора  сходится при n → ∞ к нормальному распределению с математическим ожиданием 0 и ковариационной матрицей I-1(θ0).
	Определение 1 корректно: I-1(θ0) является нижней асимптотической границей для ковариационной матрицы случайного вектора , где θ*(n) – произвольная оценка; кроме ОМП есть и иные НАН-оценки, например, байесовские оценки (см. [3] и др.). Сказанное об ОМП и байесовских оценках справедливо при некоторых условиях регулярности. В ряде случаев несмещенные оценки являются НАН-оценками, более того, они лучше, чем ОМП (их дисперсия меньше), при конечных объемах выборки [3].
	Для анализа реальных данных естественно рекомендовать какую-либо из НАН-оценок. Это утверждение всегда верно на этапе асимптотики при изучении конкретной задачи прикладной статистики. Теоретически можно предположить, что при тщательном изучении для конкретных конечных объемов выборки наилучшей окажется какая-либо оценка, не являющаяся НАН-оценкой. Однако такие ситуации специалистам пока не известны.
	Пусть θ1(n) и  - некоторые оценки θ0 и I-1(θ0) соответственно.
	Определение 2. Одношаговой оценкой (ОШ-оценкой, или ОШО) называется оценка 

	Теорема 1. Пусть выполнены следующие условия.
	(I) Распределение  сходится при n → ∞ к нормальному распределению с математическим ожиданием 0 и ковариационной матрицей I(θ0) и, кроме того, существует     
	(II) При некотором ε > 0 и n → ∞

	(III) Для любого ε > 0

Тогда ОШ-оценка является НАН-оценкой.
	Доказательство. Рассмотрим тождество
   	(3.8)
В силу условия (II) теоремы 
 
(3.9)
Из условия (I) теоремы следует, что первое слагаемое в правой части равенства (3.9) сходится при n → ∞ по распределению к многомерному нормальному закону с математическим ожиданием 0 и ковариационной матрицей I-1(θ0). Согласно  условию (III)

по вероятности. Кроме того, согласно тому же условию последовательность матриц  ограничена по вероятности. Поэтому третье слагаемое в правой части формулы (3.9) сходится к 0 по вероятности. 
	Для завершения доказательства теоремы осталось показать, что
     (3.10)
по вероятности. Левая часть формулы (3.10) преобразуется к виду 
          (3.11)
где Е – единичная матрица. Поскольку из условия (I) теоремы следует, что для bn(θ0) справедлива (многомерная) центральная предельная теорема, то

С учетом условия (III) теоремы заключаем, что 
        (3.12)
Из соотношений (3.11), (3.12) и условия (III) теоремы вытекает справедливость формулы (3.10). Теорема доказана. 
	Прокомментируем условия теоремы. Условия (I) и (II) обычно предполагаются справедливыми при рассмотрении оценок максимального правдоподобия. Эти условия можно выразить в виде требований, наложенных непосредственно на плотность f(x;θ) из параметрического семейства. Условие (III) теоремы, наложенное на исходные оценки, весьма слабое. Обычно используемые оценки θ1(n) и  являются не n-1/4-состоятельными, а -состоятельными, т.е. условие (III) заведомо выполняется.
	Какие оценки годятся в качестве начальных? В качестве θ1(n) можно использовать оценки метода моментов, как это сделано в ГОСТ 11.011-83 [1], или, например, квантильные. В качестве  иногда предлагается использовать простейшую оценку 
      (3.13)
	Для гамма-распределения с неизвестными параметрами формы, масштаба и сдвига ОШ-оценки применены в [1]. При этом оценка (3.13) оказалась непрактичной, поскольку с точностью до погрешностей измерений и вычислений det(bn) = 0 для реальных данных о наработке резцов до предельного состояния, приведенных выше в табл. 3.2 раздела 3.1. Поскольку det(bn) = 0, то обратная матрица не существует, вычисления по формуле (3.13) невозможны. Поэтому в [1] в качестве ОШ-оценки была применена непосредственно первая итерация метода Ньютона-Рафсона решения системы уравнений максимального правдоподобия, т.е. была использована оценка 
      (3.14)
В формуле (3.14) непосредственно используется явный вид зависимости матрицы информации Фишера от неизвестных параметров распределения.
	В других случаях выбор тех или иных начальных оценок, в частности, выбор между (3.13) и (3.14), может определяться, например, простотой вычислений. Можно использовать также устойчивые аналоги [2] перечисленных выше оценок.
	Еще в 1925 г., т.е. непосредственно при разработке метода максимального правдоподобия, его создатель Р.Фишер считал, что первая итерация по методу Ньютона-Рафсона дает хорошую оценку вектору неизвестных параметров [3]. Он, однако, рассматривал эту оценку как аппроксимацию ОМП. А.А.Боровков воспринимает ОШ-оценки как способ «приближенного вычисления оценок максимального правдоподобия» [4, с.225] и показывает асимптотическую эквивалентность ОШ-оценок и ОМП (в более сильных предположениях, чем в теореме 1; другими словами, теорема 1 обобщает результаты А.А. Боровкова относительно ОШ-оценок). Мы же полагаем, что ОШ-оценки имеют самостоятельную ценность, причем не меньшую, а в ряде случаев большую, чем ОМП. По нашему мнению, ОМП целесообразно применять (на этапе асимптотики) только тогда, когда они находятся явно. Во всех остальных случаях следует использовать на этом этапе ОШ-оценки (или какие-либо иные, выбранные из дополнительных соображений).
	С чем связана популярность оценок максимального правдоподобия? Из всех НАН-оценок они наиболее просто вводятся, ранее других предложены. Поэтому среди математиков сложилась устойчивая традиция рассматривать ОМП в курсах математической статистики. Однако при этом игнорируются вычислительные вопросы, а также отодвигаются в сторону другие многочисленные НАН оценки. 
	В прикладной статистике – иные приоритеты. На первом месте – ОШ-оценки, все остальные НАН-оценки, в том числе ОМП, рассматриваются в качестве дополнительных возможностей. 
	Пример 1. Найдем ОШ-оценки для гамма-распределения с плотностью
   (3.15)
Плотность вероятности в формуле (3.15) определяется тремя параметрами a, b, c, где a > 0, b > 0. При этом a является параметром формы, b - параметром масштаба и с - параметром сдвига. Здесь Γ(а) - одна из используемых в математике специальных функций, так называемая «гамма-функция», по которой названо и распределение, задаваемое формулой (3.15),

	Как следует из явного вида плотности (3.15), логарифмическая функция правдоподобия имеет вид: 

а уравнения правдоподобия таковы:

где

	Ясно, что выписанная система нелинейных уравнений не имеет аналитического решения, в отличие от аналогичной системы для семейства нормальных распределений. Построим ОШ-оценки для задачи оценивания трех неизвестных параметров [1]. 
	В качестве начальных оценок θ1(n) будем использовать оценки метода моментов (см. раздел 3.1):

где  - выборочное среднее арифметическое, s2 – выборочная дисперсия, m3 – выборочный третий центральный момент. 
	Матрица информации Фишера согласно [3] при a > 2 имеет вид
     	(3.16)
	Вектор-столбец частных производных логарифма плотности вероятности

имеет координаты

Таким образом, для получения sn(a*, b*, c*) необходимо вычислить две суммы

и произвести еще несколько арифметических действий, число которых не зависит от объема выборки.
	Одношаговые оценки an, bn, cn для параметров гамма-распределения вычисляют по формуле

где I-1 – обратная матрица к матрице информации Фишера I, заданной формулой (3.16). Матрицу I-1 нетрудно рассчитать аналитически. Формулы для нахождения одношаговых оценок расписаны в [1]. Расчеты облегчает то обстоятельство, что для гамма-распределения вторая координата вектора sn(a*, b*, c*) тождественно равна 0, т.е. 
sn(2)(a*, b*, c*) ≡ 0.
	При n → ∞ распределение вектора оценок (an, bn, cn) приближается трехмерным нормальным распределением с математическим ожиданием, равным вектору истинных значений параметров (a, b, c), и ковариационной матрицей I-1(an, bn, cn). На этом приближении основаны правила расчета доверительных границ для параметров гамма-распределения [1]. Дисперсии оценок неизвестны, но зато имеются известные статистику зависимости этих дисперсий от параметров гамма-распределения. Эти зависимости непрерывные. Они стоят на главной диагонали ковариационной матрицы I-1(an,bn, cn). Поэтому можно вместо неизвестных параметров подставить в них оценки этих параметров и на основе принципа наследования сходимости (см. главу 14 настоящего учебника) получить состоятельные оценки дисперсий. Затем на основе оценок дисперсий обычным образом строятся доверительные интервалы для параметров гамма-распределения. 
	В табл. 3.4 приведены результаты реализации описанной выше схемы расчетов - точечные и интервальные (при односторонней доверительной вероятности 0,95) оценки параметров гамма-распределения для данных, содержащихся в табл. 3.2 предыдущего пункта 3.1.

Таблица 3.4
Одношаговые оценки и доверительные границы
для параметров гамма-распределения
Параметр	Одношаговая оценка	Верхняя довери-тельная граница	Нижняя довери-тельная граница	
Формы	7,32	16,41	-1,77	
Масштаба	8,77	15,24	2,30	
Сдвига	- 11,46	23,28	- 46,20	

	Приведенные в табл. 3.4 данные получены на основе асимптотических формул. Из-за конечности объема выборки необходимо внести некоторые коррективы. Поскольку параметр формы всегда положителен, a > 0, то нижняя доверительная граница для этого параметра должна быть неотрицательна, следует положить aH = 0. Поскольку плотность гамма-распределения положительна только правее параметра с, то, очевидно, c < xmin = 9,00, верхняя доверительная граница для параметра сдвига должна быть заменена на cB = 9,00. 
	Может ли параметр сдвига быть отрицательным в данной прикладной задаче? Отрицательность параметра сдвига означает, что с положительной вероятностью рассматриваемая случайная величина отрицательна. Т.е. наработка резца до предельного состояния отрицательна. Ясно, что такого быть не может, хотя для специалиста по математической статистике отрицательность параметра сдвига вполне приемлема. Однако специалист по прикладной статистике должен признать неотрицательность параметра с при обработке данных, составляющих рассматриваемую выборку. Следовательно, нижнюю доверительную границу для параметра сдвига необходимо заменить на сн = 0.
	Как следует из проведенных выше рассуждений и выкладок [1], отношение дисперсий оценок метода моментов и ОШ-оценок имеет вид
		(3.17)
при больших а. 
	Это отношение, как и должно быть из общих соображений, всегда меньше 1. Отношение дисперсий возрастает при приближении к 0 коэффициента асимметрии распределения. Если a > 39,1 (коэффициент асимметрии меньше 0,102), то эффективность оценки метода моментов превышает 80%. При а = 20 (коэффициент асимметрии 0,20) она равна 65%. При безграничном росте параметра формы а гамма-распределение приближается к нормальному, для которого оценки метода моментов и ОМП совпадают, а потому имеют равные дисперсии. Поэтому вполне естественно, что отношение дисперсий в формуле (3.17) стремится к 1 при безграничном росте параметра формы а.
	Хотя дисперсии оценок метода моментов, как правило, больше, чем дисперсии НАН-оценок, таких, как ОШО и ОМП, метод моментов играет большую роль в статистических методах. Во-первых, обычно расчет оценок метода моментов проще (в частности, требует меньшего числа компьютерных операций), чем оценок других типов. К тому же оценки находятся с помощью выборочных моментов, которые, как правило, вычисляются на этапе описания статистических данных. Во-вторых, они служат основой для вычисления оценок других типов, например, ОШО. Для запуска итерационных методов нахождения ОМП также нужны начальные значения, и ими обычно являются оценки метода моментов. В-третьих, если учитывать погрешности результатов наблюдений, то оценки метода моментов могут оказаться точнее ОМП и асимптотически эквивалентных им ОШО, как это показано в статистике интервальных данных [3]. 
	Методы оценивания параметров гамма-распределения и примеры расчетов для всех семи постановок, перечисленных в табл. 3.1 раздела 3.1, приведены в [1]. Большинство из них основано на асимптотических (при n → ∞) теоретических результатах прикладной статистики. Методом статистических испытаний (Монте-Карло) показано, что уже при n > 10 используемые приближения удовлетворительны. Другими словами, асимптотической нормальностью оценок и другими важными для проведенных выше рассуждений предельными результатами можно пользоваться уже при  n > 10.
	Алгоритмическое и программное обеспечение ОШ-оценок для распределения Вейбулла-Гнеденко и гамма-распределения рассмотрено в содержательной монографии [5]. История вопроса освещена в монографии [3].

3.3. Асимптотика решений экстремальных статистических задач

	Если проанализировать приведенные в [3, 6] постановки и результаты, касающиеся эмпирических и теоретических средних и законов больших чисел (в пространствах произвольной природы), то становится очевидной возможность их обобщения. Так, доказательства теорем практически не меняются, если считать, что функция f(x,y) определена на декартовом произведении бикомпактных различных пространств X и Y, а не на X2. Тогда можно считать, что элементы выборки лежат в Х, а Y - пространство параметров, подлежащих оценке. 
	Обобщения законов больших чисел. Пусть, например, выборка х1 = х1(ω),  х2 = х2(ω), … , хn = хn(ω) взята из распределения с плотностью p(x,y), где у – неизвестный параметр. Если положить
f(x,y) = - ln p(x,y),
то задача нахождения эмпирического среднего 

переходит в задачу оценивания неизвестного параметра y методом максимального правдоподобия
.
Соответственно законы больших чисел переходят в утверждения о состоятельности этих оценок в случае пространств X и Y общего вида. 	При такой интерпретации функция f(x,y) уже не является расстоянием или показателем различия, как при определении теоретических и эмпирических средних. Однако для доказательства сходимости оценок к соответствующим значениям параметров это и не требуется. Достаточно, например, непрерывности этой функции на декартовом произведении бикомпактных пространств X и Y.
	В случае функции f(x,y) общего вида можно говорить об определении в пространствах произвольной природы оценок минимального контраста и их состоятельности. При этом при каждом конкретном значении параметра у справедливо предельное соотношение

где f – функция контраста. Тогда состоятельность оценок минимального контраста вытекает из справедливости предельного перехода
.
Частными случаями оценок минимального контраста являются, устойчивые (робастные) оценки Тьюки-Хубера (см. ниже), а также оценки параметров в задачах аппроксимации (параметрической регрессии) в пространствах произвольной природы. 
	Можно пойти и дальше в обобщении законов больших чисел. Пусть известно, что при каждом конкретном y при безграничном росте n имеет быть сходимость по вероятности
fn(, y)  f(y),
где fn(ω, y) – последовательность случайных функций на пространстве Y, а f(y) – некоторая функция на У. В каких случаях и в каком смысле имеет место сходимость
Argmin {fn(, y), yX}  Argmin {f(y), y X}? 
	Другими словами, когда из поточечной сходимости функций вытекает сходимость множеств, в которых эти функции достигают минимума? 
	Причем здесь можно под n понимать натуральное число. А можно рассматривать сходимость по направленному множеству (глава 14 настоящего учебника), или же, что практически то же самое – «сходимость по фильтру» в смысле Картана и Бурбаки. В частности, можно описывать ситуацию вектором, координаты которого - объемы нескольких выборок, и все они безгранично растут.  
	Поскольку основные задачи прикладной статистики можно представить в виде оптимизационных задач, то ответ на поставленный вопрос о сходимости точек минимума дает возможность единообразного подхода к изучению асимптотики решений разнообразных экстремальных статистических задач. Одна из возможных формулировок, основанная на бикомпактности пространств Х и У и нацеленная на изучение оценок минимального контраста, кратко рассмотрена выше. Другой подход, развитый в нашей работе [7], основан на использовании понятий асимптотической равномерной разбиваемости и координатной асимптотической равномерной разбиваемости пространств. С помощью указанных подходов удается стандартным образом обосновывать состоятельность оценок характеристик и параметров в основных задачах прикладной статистики. 
	Рассматриваемую тематику можно развивать дальше, в частности, рассматривать аналоги законов больших чисел в случае пространств, не являющихся бикомпактными, а также изучать скорость сходимости Argmin{fn(x(), y), yX} к Argmin{f(y), y X}. 
	Приведем примеры применения результатов о предельном поведении точек минимума.
	Задача аппроксимации зависимости (параметрической регрессии). Пусть X и Y – некоторые пространства. Пусть имеются статистические данные - n пар (xk, yk), где xk  X, yk  Y, k = 1, 2, …, n. Задано параметрическое пространство Θ произвольной природы и семейство функций g(x,θ): X×Θ → Y. 
	Требуется подобрать параметр θ  Θ так. чтобы g(xk ,θ) наилучшим образом приближали yk, k = 1, 2, …, n. 
	Пусть fk – последовательность показателей различия в У. При сделанных предположениях параметр θ естественно оценивать путем решения экстремальной задачи:
.		(3.18)
	Часто, но не всегда, все fk совпадают. В классической постановке, когда Х = Rk, У = R1, функции fk различны при неравноточных наблюдениях, например, когда число опытов меняется от одной точки х проведения опытов к другой. 
	Если fk(y1,y2) = f(y1,y2) = (y1- y2)2, то получаем общую постановку метода наименьших квадратов (см. подробности в главе 6):
.
	В рамках детерминированного анализа данных остается единственный теоретический вопрос – о существовании θn. Если все участвующие в формулировке задачи (3.18) функции непрерывны, а минимум берется по бикомпакту, то θn существует. Есть и иные условия существования θn [6, 7]. 
	При появлении нового наблюдения х в соответствии с методологией восстановления зависимости рекомендуется выбирать оценку соответствующего у по правилу
у* = g(x, θn).
Обосновать такую рекомендацию в рамках детерминированного анализа данных невозможно. Это можно сделать только в вероятностной теории, равно как и изучить асимптотическое поведение θn, в частности, доказать состоятельность этой оценки. 
	Как и в классическом случае, вероятностную теорию целесообразно строить для трех различных постановок. 
	1. Переменная х – детерминированная (например, время), переменная у – случайная, ее распределение зависит от х. 
	2. Совокупность (xk, yk), k = 1, 2, …, n, – выборка из распределения случайного элемента со значениями в Х×У.
	3. Имеется детерминированный набор пар (xk0, yk0), k = 1, 2, …, n, результат наблюдения (xk, yk) является случайным элементом, распределение которого зависит от (xk0, yk0). Это – постановка т.н. конфлюэнтного анализа.
	Во всех трех случаях 
,
однако случайность входит в правую часть по-разному в зависимости от постановки, от которой зависит и определение предельной функции f(θ). 
	Проще всего выглядит f(θ) в случае второй постановки при fk ≡ f:
f(θ) = Mf(g(x1,θ),y).
В случае первой постановки 

в предположении существования указанного предела. Ситуация усложняется для третьей постановки:
.
	Во всех трех случаях на основе общих результатов о поведении решений экстремальных статистических задач можно изучить [3, 6, 7] асимптотику оценок θn. При выполнении соответствующих внутриматематических условий регулярности оценки оказываются состоятельными, т.е. удается восстановить зависимость.
	Аппроксимация и регрессия. Соотношение (3.18) дает решение задачи аппроксимации. Поясним, как эта задача соотносится с нахождением регрессии. Согласно [6] для случайной величины (ξ, η) со значениями в Х×У регрессией η на ξ относительно меры близости f естественно назвать решение задачи 
Mf(g(ξ), η) → ,		(3.19)
где f: Y×Y → R1, g: X → Y, минимум берется по множеству всех измеримых функций {g}. 
	Можно исходить и из другого определения. Для каждого хХ рассмотрим случайную величину η(х), распределение которой является условным распределением η при условии ξ = х. В соответствии с определением математического ожидания в пространстве общей природы назовем условным математическим ожиданием решение экстремальной задачи
.
Оказывается, при обычных предположениях измеримости решение задачи (3.19) совпадает с . (Внутриматематические уточнения типа «равенство имеет место почти всюду» здесь опущены.) 
	Если заранее известно, что условное математическое ожидание  принадлежит некоторому параметрическому семейству g(x,θ), то задача нахождения регрессии сводится к оцениванию параметра θ в соответствии с рассмотренной выше второй постановкой вероятностной теории параметрической регрессии. Если же нет оснований считать, что регрессия принадлежит параметрическому семейству, то можно использовать непараметрические оценки регрессии. Они строятся с помощью непараметрических оценок плотности [3, 6]. Способы построения непараметрических оценок плотности рассмотрены в главе 2.
	Пусть ν1 – мера в Х, ν2 – мера в У, а их прямое произведение ν = ν1×ν2 – мера в Х×У. Пусть g(x,y) – плотность случайного элемента (ξ,η) по мере ν. 
	Тогда условная плотность g(y|x) распределения η при условии ξ = х имеет вид
		(3.20)
(в предположении, что интеграл в знаменателе отличен от 0). Следовательно,
,
а потому
.
	Заменяя g(x,y) в (3.20) непараметрической оценкой плотности gn(x,y), получаем оценку условной плотности
.		(3.21)
Если gn(x,y) – состоятельная оценка g(x,y), то числитель (3.21) сходится к числителю (3.20). Сходимость знаменателя (3.21) к знаменателю (3.20) обосновывается с помощью предельной теории статистик интегрального типа [3, 6]. В итоге получаем утверждение о состоятельности непараметрической оценки (3.21) условной плотности, заданной формулой (3.20). 
	Непараметрическая оценка регрессии ищется как
.
Состоятельность этой оценки следует из приведенных выше общих результатов об асимптотическом поведении решений экстремальных статистических задач. 
	Применение к методу главных компонент. Исходные данные – набор векторов ξ1, ξ2, … , ξn, лежащих в евклидовом пространстве Rk размерности k. Цель состоит в снижении размерности, т.е. в уменьшении числа рассматриваемых показателей. Для этого берут всевозможные линейные ортогональные нормированные центрированные комбинации исходных показателей, получают k новых показателей, из них берут первые m, где m < k (подробности см. в главе 6.5). 
	Матрицу преобразования С выбирают так, чтобы максимизировать информационный функционал
,		(3.22)
где x(i), i = 1, 2, … , k, - исходные показатели; исходные данные имеют вид ξj = (xj(1), xj(2), … , xj(k)), j = 1, 2, … , n; при этом z(α), α = 1, 2, … , m, - комбинации исходных показателей, полученные с помощью матрицы С. Наконец, s2(z(α)), α = 1, 2, … , m, s2(x(i)), i = 1, 2, … , k, - выборочные дисперсии переменных, указанных в скобках. 
	Укажем подробнее, как новые показатели (главные компоненты) z(α) строятся по исходным показателям x(i) с помощью матрицы С:
,
где
.
Матрица C = ||cαβ|| порядка m×k такова, что  
		(3.23)
(матрица С является нормированной),
		(3.24)
(матрица С является ортогональной).
	Решением основной задачи метода главных компонент является 
,
где минимизируемая функция определена формулой (3.22), а минимизация проводится по всем матрицам С, удовлетворяющим условиям (3.23) и (3.24).
	Вычисление матрицы Сn – задача детерминированного анализа данных. Однако, как и в иных случаях, например, для медианы Кемени, возникает вопрос об асимптотическом поведении Сn. Является ли решение основной задачи метода главных компонент устойчивым, т.е. существует ли предел Сn при n → ∞? Чему равен этот предел? 
	Ответ, как обычно, может быть дан только в вероятностной теории. Пусть ξ1, ξ2, … , ξn - независимые одинаково распределенные случайные вектора. Положим 
,
где матрица C = ||cαβ|| удовлетворяет условиям (3.22) и (3.23). Введем функцию от матрицы
.
Легко видеть, что при n → ∞ и любом С
.
Рассмотрим решение предельной экстремальной задачи
.
Естественно ожидать, что
.
Действительно, это соотношение вытекает из приведенных выше общих результатов об асимптотическом поведении решений экстремальных статистических задач. 
	Таким образом, теория, развитая для пространств произвольной природы, позволяет единообразным образом изучать конкретные процедуры прикладной статистики.

3.4. Робастность статистических процедур

	Термин «робастность» (robustness - англ.) образован от robust - крепкий, грубый (англ.). Сравните с названием одного из сортов кофе - robusta. Имеется в виду, что робастные статистические процедуры должны «выдерживать» ошибки, которые теми или иными способами могут попадать в исходные данные или искажать предпосылки используемых вероятностно-статистических моделей. 
	Термин «робастный» стал популярным в нашей стране в 1970-е гг. Сначала он использовался фактически как сужение термина «устойчивый» на алгоритмы статистического анализа данных классического типа (не включая теорию измерений, статистику нечисловых и интервальных данных). Затем реальная сфера его применения сузилась. 
	Пусть исходные данные - это выборка, т.е. совокупность независимых одинаково распределенных случайных величин с одной и той же функцией распределения F(x). Наиболее простая модель изучения устойчивости - это модель засорения
		(3.25)
	Эта модель называется также моделью Тьюки - Хубера. (Джон Тьюки - американский исследователь, П. Хубер, или Хьюбер - швейцарский ученый.) Модель (3.25) показывает, что с близкой к 1 вероятностью, а именно, с вероятностью  наблюдения берутся из совокупности с функцией распределения  которая предполагается обладающей «хорошими» свойствами. Например, она имеет известный статистику вид (хотя бы с точностью до параметров), у нее существуют все моменты, и т.д. Но с малой вероятностью  появляются наблюдения из совокупности с «плохим» распределением (например, взятые из распределения Коши, не имеющего математического ожидания), резко выделяющиеся аномальные наблюдения, выбросы. 
	Актуальность модели (3.25) не вызывает сомнений. Наличие засорений (выбросов) может сильно исказить результаты эконометрического анализа данных. Например, пусть функция распределения элементов выборки имеет вид (3.25). Причем первое слагаемое соответствует случайной величине с конечным математическим ожиданием, а второе - такой случайной величине, для которой математического ожидания не существует. Тогда для итоговой функции распределения также не существует математического ожидания. Исследователя обычно интересуют характеристики первого слагаемого, но найти их, т.е. освободиться от влияния засорения, не так-то просто. Например, среднее арифметическое результатов наблюдений не будет иметь никакого предела (это - строгое математическое утверждение, вытекающее из того, что математическое ожидание не существует [3]).
	Существуют различные способы борьбы с засорением. Эмпирическое правило найдено в фигурном катании: при подведении итогов работы команды судей наибольшая и наименьшая оценки отбрасываются, а по остальным рассчитывается средняя арифметическая. Ясно, что единичное «засорение» окажется среди отброшенных оценок. 
	Оценивать характеристики и параметры, проверять статистические гипотезы, вообще осуществлять статистический анализ данных все чаще рекомендуют на основе эмпирических квантилей (другими словами, порядковых статистик, членов вариационного ряда), отделенных от концов вариационного ряда. Речь идет об использовании статистик вида
,
где a, b, c, d, e – заданные числа, x(0,1n), x(0,3n), x(0,5n), x(0,7n), x(0,9n) – члены вариационного ряда с номерами, наиболее близкими к числам, указанным в скобках. Так ценой небольшой потери в эффективности оценок избавляемся от влияния засоренности типа описанной в модели (3.25).
	Вариантом этого подхода является переход к сгруппированным данным. Отрезок прямой, содержащий основную часть наблюдений, разбивается на интервалы, и вместо количественных значений статистик подсчитывает лишь, сколько наблюдений попало в те или иные интервалы. Особое значение приобретают крайние интервалы - к ним относят все наблюдения, которые больше некоторого верхнего порога и меньше некоторого нижнего порога. Любым методам анализа сгруппированных данных резко выделяющиеся наблюдения не страшны.
	Можно поставить под сомнение и саму опасность засорения. Дело в том, что практически все реально наблюдающиеся величины ограничены. Все они лежат на каком-то интервале - от и до. Это совершенно ясно, если речь идет о физическом измерении - все результаты измерений укладывается в шкалу прибора. По-видимому, и для иных статистических измерений наибольшие сложности создают не сверхбольшие помехи, а те засорения, что находятся «на грани» между «интуитивно возможными значениями» и «интуитивно невозможными». 
Что же это означает для практики статистического анализа данных? Если элементы выборки по абсолютной величине не превосходят числа А, то все возможные засорения могут сдвинуть среднее арифметическое на величину не более  Если засорение невелико, то и сдвиг мал. 
Построена достаточно обширная и развитая теория, посвященная разработке и изучению методов анализа данных в модели (3.25). С ней можно познакомиться по многочисленным публикациям. К сожалению, в теории обычно предполагается известной степень засорения , а на практике эта величина неизвестна. Кроме того, теория обычно направлена на защиту от воздействий, якобы угрожающих из бесконечности (например, отсутствием математического ожидания), а на самом деле реальные данные финитны (сосредоточены на конечных отрезках). Все это объясняет, почему теория робастности, исходящая из модели (3.25), популярна среди теоретиков, но мало интересна тем, кто анализирует реальные технические, экономические, медицинские и иные статистические данные. 
Рассмотрим несколько более сложную модель. Пусть наблюдаются реализации  независимых случайных величин с функциями распределения  соответственно. Эта модель соответствует гипотезе о том, что в процессе наблюдения (измерения) условия несколько менялись. 
	Естественной представляется модель малых отклонений функций распределений наблюдаемых случайных величин от некоторой «базовой» функции распределения . Множество возможных значений функций распределений наблюдаемых случайных величин (т.е. совокупность допустимых отклонений согласно общей схеме устойчивости, рассмотренной в главе 14) описывается следующим образом: 

	Следующий тип моделей - это введение малой (т.е. слабой) зависимости между рассматриваемыми случайными величинами. Ограничения на взаимную зависимость можно задать разными способами. Пусть  - совместная функция распределения n-мерного случайного вектора, F1(x1), F2(x2), … , Fn(xn) – функции распределения его координат. Если все координаты независимы, то  = F1(x1)F2(x2)…Fn(xn). Пусть коэффициент корреляции между i-ой и j-ой случайными величинами – координатами вектора. Множество возможных совместных функций распределения (т.е. совокупность допустимых отклонений от ситуации независимости координат согласно общей схеме устойчивости, рассмотренной в главе 14) описывается следующим образом:

Таким образом, фиксируются функции распределения координат, а коэффициенты корреляции предполагаются малыми (по абсолютной величине).
	Есть еще целый ряд постановок задач робастности. Если накладывать погрешности непосредственно на результаты наблюдений (измерений) и предполагать лишь, что эти погрешности не превосходят (по абсолютной величине) заданных величин, то получаем постановки задач статистики интервальных данных [3, 6]. При этом каждый результат наблюдения превращается в интервал - исходное значение плюс-минус максимально возможная погрешность. 
	Разработано много вариантов робастных методов анализа статистических данных. Иногда говорят, что робастные методы позволяют использовать информацию о том, что реальные наблюдения лежат «около» тех или иных параметрических семейств, например, нормальных. В этом, дескать, их преимущество по сравнению с непараметрическими методами, которые предназначены для анализа данных, распределенных согласно произвольной непрерывной функции распределения. Однако количественных подтверждений этих уверений энтузиастам робастных методов обычно не удается найти. В основном потому, что термин «около» трудно формализовать.
	На примере сравнения различных подходов к изучению робастности статистических процедур оценивания и проверки гипотез видны сложности, связанные с изучением устойчивости. Дело в том, что для каждой конкретной статистической задачи можно самыми разными способами задать совокупность допустимых отклонений. Так, выше кратко рассмотрены четыре такие совокупности, соответствующие
	1) модели засорения Тьюки – Хубера; 
	2) модели малых отклонений функций распределения; 
	3) модели слабых связей; 
	4) модели интервальных данных. 
	В каждой из этих моделей общая схема устойчивости (глава 14 настоящего учебника) предлагает для решения целый спектр задач устойчивости. Кроме изучения свойств робастности известных статистических процедур можно в каждой из постановок находить оптимальные процедуры. Однако практическая ценность этих оптимальных процедур, как правило, невелика, поскольку в других постановках оптимальными будут уже другие процедуры. 

3.5. Оценивание для сгруппированных данных 

	При вычислении различных статистических характеристик часто пользуются сгруппированными данными. Мы рассматриваем погрешность группировки как один из видов погрешностей наблюдений. До появления мощных компьютеров группировку проводили для облегчения расчетов. К сожалению, устаревшие рекомендации по обязательному проведению группировки укоренились в курсах по «общей теории статистики». В отмененном из-за низкого научного уровня ГОСТ 11.006-74 (СТ СЭВ 1190-78) «Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим» группировку предписывалось проводить даже при проверке согласия с помощью критериев Колмогорова и омега-квадрат, что приводит к прямым ошибкам. 
	В современных условиях нет необходимости сокращать число арифметических операций при анализе статистических данных. Вместо гистограмм для описания распределения в настоящее время рекомендуют использовать непараметрические оценки плотности. Однако с существующей традицией приходится считаться, для борьбы с ней надо знать влияние группировки данных на статистические характеристики.
	Другая причина использования сгруппированных данных – неточность измерений, приводящих либо к автоматическому (с помощью средств измерения) округлению, либо к округлению, проводимому специалистом, осуществляющим измерение.  
	В настоящем разделе рассмотрим статистические методы анализа сгруппированных данных. Начнем с одномерных данных. 
	Вероятностная модель группировки. Пусть выборка объема n взята из распределения числовой случайной величины Х с плотностью вероятности f(x). Пусть элементы выборки сгруппированы по интервалам длины h, центры которых находятся в точках ai = a0 + ih, где i = 0, +1, +2, … (Поскольку вероятность попадания в точку соприкосновения интервалов равна 0, то нет необходимости указывать, к какому из интервалов относятся такие точки.) В таких случаях при вычислении моментов и других выборочных характеристик по сгруппированным данным обычно предполагается, что все выборочные значения, принадлежащие некоторому интервалу, совпадают с центром этого интервала. Тогда фактически рассматривается выборка из дискретного распределения, в соответствии с которым случайная величина Y принимает значения ai = a0 + ih с вероятностями 
.
	Пользуясь сгруппированными данными, оценивают те или иные выборочные характеристики, например, моменты 
.
	Во многих случаях исследователя интересуют не эти «групповые» моменты, а моменты исходной непрерывно случайной величины Х:
.
Поэтому важно изучить соотношения между этими двумя множествами моментов. Оказывается, при некоторых внутриматематических условиях регулярности приближенные значения моментов M(Xk) можно получить, прибавляя некоторые поправки к «групповым» моментам M(Yk).
	Групповые моменты запишем в виде

где 

	Для решения поставленной задачи полезной оказывается формула Эйлера-Маклорена. В настоящем разделе нам понадобится также ее обобщение, полученное в [8].
	Обобщение формулы Эйлера-Маклорена. В различных статистических методах анализа данных используются дискретные распределения. Возникает необходимость вычисления сумм следующего вида:
,
где g(x) – достаточно гладкая функция. 
	Другими словами, требуется просуммировать значения функции g(x) в n точках, отстоящих друг от друга на расстояние h, начиная с точки a. Типичным примером является суммирование биномиальных вероятностей с целью вычисления попадания биномиально распределенной случайной величины в заданный интервал. 
	Классическая формула Эйлера-Маклорена такова [9, п.465]:

Здесь Rm – остаточный член порядка hm, выражение для которого приведено в [9, с.540], 
,
где Bp есть p-е число Бернулли [9, п.449]. В частности,
.
	Очевидным недостатком классической формулы Эйлера-Маклорена является ее несимметричность – левый конец отрезка [a, a+nh], по которому проводится интегрирование, входит в число точек, значения функции в которых суммируется, а правый – нет. Этот недостаток связан с тем, что каждому слагаемому в рассматриваемой сумме ставится в соответствие отрезок длины h, значение функции g(x) в левом конце которого и есть рассматриваемое слагаемое. В результате нет симметричности – формула меняется при изменении направления оси х-ов.
	Чтобы избавиться от несимметричности, достаточно слагаемому g(x0) (где x0 = a + (i – 1)h при некотором i) поставить в соответствие отрезок . Опишем подход к получению асимптотических разложений, впервые предложенный в статье [8] в связи с изучением скорости сходимости распределения классической статистики омега-квадрат (Крамера-Мизеса-Смирнова) к предельному распределению. Будем исходить из формулы Тейлора с дополнительным членом в виде определенного интеграла [9, п.318]:
.
Проинтегрируем почленно обе части этого равенства по x по отрезку отрезок . Получим, что

(при четном m). Весьма важно, что обращаются в 0 все интегралы, соответствующие нечетным степеням. 
	Из только что полученного соотношения следует, что
,
где Qm – остаточный член, указанный в предыдущей формуле.
	Применим аналогичную процедуру ко второй производной - функции g’’(x). Исходим из формулы Тейлора

Интегрируя, получаем, что 
,
откуда 
	Подставляя в формулу для g(x0)h, получаем, что

	Дальше можно провести аналогичные выкладки для четвертой производной, и т.д. С помощью продемонстрированного подхода можно получить, например, следующий результат:
,
где 

	Таким образом, справедливо следующее соотношение, напоминающее классическую формулу Эйлера-Маклорена:
	Сравнение с классической формулой Эйлера-Маклорена показывает, что в последней формуле отсутствует первый член асимптотического разложения, соответствующий , а коэффициенты при остальных членах меньше по абсолютной величине:

Полученная формула симметрична – не меняется при изменении направлении оси x-ов. 
	Из сказанного вытекает рекомендация: вместо классической формулы Эйлера-Маклорена употреблять полученную нами в статье [8] формулу, в которой каждому входящему в сумму значению аргумента ставится в соответствие отрезок, для которого это значение является центром. 
	Полученная формула позволила построить компактные таблицы для специальных функций, используемых при оценивании параметров гамма-распределения, и вывести формулы для использования вне таблиц, что оказалось весьма полезным при разработке государственного стандарта ГОСТ 11.011-83 [1]. Многомерный аналог полученной формулы, в котором каждой точке целочисленной решетки ставился в соответствие прямоугольный параллелепипед, для которого эта точка являлась центром, позволил разработать оригинальный метод оценивания скорости сходимости распределений непараметрических статистик типа Колмогорова, Смирнова и омега-квадрат [8]. 
	Поправки Шеппарда. С помощью формулы Эйлера-Маклорена групповые моменты M(Yk) могут быть выражены линейными функциями от «истинных» моментов M(Xk) (в предположении, что остаточным членом можно пренебречь). Решая последовательно уравнения относительно «истинных» моментов M(Xk), получаем:

	Таким образом, получены поправки к результатам расчетов по сгруппированным данным, позволяющие более точно оценить моменты исходного распределения. Эти поправки впервые выведены В.Ф. Шеппардом в 1898 г. и поэтому называются в статистической литературе «поправками Шеппарда». Общая формула имеет вид:
,
где Bj – числа Бернулли [9, п.449].
	Хотя поправки Шеппарда получены еще в XIX веке, статистическая теория обработки сгруппированных данных продолжает развиваться. В данном разделе рассмотрена непараметрическая многомерная постановка, в которой границы группировки задаются статистиком. Параметрическую теорию развивал Г. Куллдорф. Модель группировки со случайным сдвигом начала координат изучал Н.А. Бодин. 
	Многомерная группировка. Дадим описание группировки данных в случае m-мерного случайного вектора Z = (Z1, Z2, …, Zm) с плотностью распределения p(x1, x2, …, xm). Пусть выборочные значения координаты Zi группируются по интервалам длины hi со средними точками (центрами) ai,k = ai + khi, k = 0, +1, +2, … Вектор h = (h1, h2, …, hm) назовем шагом группировки. При вычислении выборочных характеристик предполагается, что все выборочные значения вектора Z, координаты которого удовлетворяют неравенствам

совпадают с центром (a1,k(1), a2,k(2), …, am,k(m)) данного m-мерного прямоугольного параллелепипеда, т.е. фактически мы обрабатываем выборочные значения дискретного m-мерного вектора W = (W1, W2, …, Wm) с распределением  
,
где
.
	Представляется естественным разложить разность между характеристиками вектора W и характеристиками вектора Z по степеням координат шага группировки и оценить возникающий при этом остаточный член. Таким образом, мы хотим получить обобщение поправок Шеппарда для моментов.
	Будем рассматривать характеристики вида Mf(Z), где f – достаточно гладкая функция.
	Поправки на группировку для коэффициента корреляции. В качестве примера рассмотрим коэффициент корреляции  (точнее, линейный парный коэффициент корреляции Пирсона – см. раздел 6.1). Для удовлетворяющей некоторым условиям регулярности [3] плотности p(x1, x2) справедливы соотношения

при достаточно малых h1 и h2 с точностью до членов более высокого порядка по h1 и h2. Из приведенных соотношений и определения коэффициента корреляции  с помощью элементарных преобразований получаем, что 

с той же точностью. Поскольку при малых y
,
то при достаточно малых h1 и h2 с точностью до членов более высокого порядка 

Из последней формулы вытекает, что

с той же точностью. Воспользовавшись приведенными выше соотношениями для вторых моментов координат двумерного вектора, получаем окончательную формулу
,
в которой поправка на группировку определяется только по сгруппированным данным.
	Полученная поправка на группировку для коэффициента корреляции рекомендуется для использования в практических вычислениях. Отметим, что группировка приводит к уменьшению коэффициента корреляции (по абсолютной величине): 
.
	Поправка на группировку для коэффициента корреляции получена в порядке полемики с публикацией, в которой без какого-либо основания утверждалось, что при группировке коэффициент корреляции увеличивается.
	Асимптотические поправки на группировку. Перейдем к общему случаю. Будем использовать следующий многомерный аналог классической формулы Эйлера-Маклорена: 

где Zm – множество точек с целыми координатами m-мерного пространства Rm, функция  абсолютно интегрируема, C(t,m) – совокупность всех подмножеств мощности t множества {1,2,…,m} и 

	Справедлив следующий многомерный аналог приведенного ранее обобщения одномерной классической формулы Эйлера-Маклорена:

(в этой формуле x = (x1, x2, …, xm), соответственно, dx = dx1dx2…dxm, используются введенные ранее обозначения). Описан закон получения членов разложения и указана оценка остаточного члена [10]. Однако в общем случае они весьма громоздки, поэтому ограничимся несколькими доведенными до числа примерами.
	Пусть m = 2, вектор (Z1, Z2) имеет нормальное распределение. Тогда

.
На основе описанных выше общих результатов можно получить точные формулы и оценки остаточных членов в этих формулах. Оказывается, остаточные члены R(M(Zj)) и R(D(Zj)), j = 1, 2, весьма малы даже при достаточно большом шаге группировки. Так,

и |R(M(Zj))| не превосходит  при hj  и не превосходит  при hj , где , а aj –начало отсчета по j-й координате, j = 1,2.
	Полученные оценки зависят от M(Zj) – aj. Так, при aj - M(Zj) = hj/4 относительная погрешность определения истинной дисперсии по сгруппированной с использованием поправок Шеппарда, т.е. 
,
не превосходит 6,8×10-2 при hj , меньше 0,25×10-2 при hj  и 6,8×10-11 при hj . 
	Таким образом (это подтверждается равномерной оценкой остаточного члена), при шаге группировки, равном среднеквадратическому отклонению, формула

становится практически точной.
	Иным оказывается положение при расчете по сгруппированным данным коэффициента ковариации. При малых и средних значениях коэффициент корреляции  (при ) относительная погрешность невелика даже при довольно большом шаге группировки (так,  при  и ). При больших коэффициентах корреляции, если ставится цель добиться достаточно хорошего приближения, шаг группировки необходимо уменьшать, поскольку при  основной член в оценке относительной погрешности таков: 
.
	В фундаментальных и прикладных научных исследованиях часто оказывается необходимым использовать коэффициент корреляции  в случае произвольного распределения случайного вектора при естественном и обычно выполняющемся условии существования достаточного числа моментов и гладкости плотности вероятности. На основе описанного выше общего подхода получена следующая приближенная формула для выражения истинного коэффициента корреляции  через «сгруппированный» коэффициент корреляции  и «сгруппированные» дисперсии D(W1) и D(W2):

Эта формула уточняет ранее приведенную формулу, полученную элементарными средствами. Оценена относительная погрешность определения коэффициента корреляции:
,
где RD – максимум относительных погрешностей в определении истинных дисперсий D(Z1) и D(Z2) через «сгруппированные» дисперсии D(W1) и D(W2) с использованием поправок Шеппарда, R – абсолютная погрешность при определении истинного коэффициента ковариации через «сгруппированный» (см. выше).
	Теория статистического анализа сгруппированных данных в настоящее время недостаточно развита и систематизирована, тем не менее принципиальных трудностей на пути расчета поправок на группировку нет. Во многих случаях шаг группировки порядка среднего квадратического отклонения исходных случайных величин дает с учетом поправок вполне приемлемую точность. По сравнению с другими видами погрешностей, в частности, рассматриваемыми в статистике интервальных данных ([3, 6]), группировка сравнительно слабо влияет на свойства статистических процедур. 

Литература

1. ГОСТ 11.011-83. Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения / Орлов А.И., Миронова Н.Г., Невельсон М.Б. и др. - М.: Изд-во стандартов, 1984. - 53 с. - Переиздание: М.: Изд-во стандартов, 1985. - 50 с. (3,5 п.л.).
2. Орлов А.И. Устойчивость в социально-экономических моделях. – М.: Наука, 1979. – 296 с.
3. Орлов А.И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.
4. Боровков А.А. Математическая статистика. Учебное пособие для вузов. – М.: Наука, 1984. – 472 с.
5. Петрович М.Л., Давидович М.И. Статистическое оценивание и проверка гипотез на ЭВМ. – М.: Финансы и статистика, 1989. – 191 с.
6. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.
7. Орлов А.И. Асимптотика решений экстремальных статистических задач // Анализ нечисловых данных в системных исследованиях. / Сборник трудов. Вып.10. - М.: Всесоюзный научно-исследовательский институт системных исследований, 1982. - С. 4-12.
8. Орлов А.И. Скорость сходимости распределения статистики Мизеса-Смирнова // Теория вероятностей и ее применения. - 1974. - Т.19. - №4. - С.766-786.
9. Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления. Т.2. – М.: Наука, 1966. – 800 с.
10. Орлов А.И., Орловский И.В. О поправках на группировку // Прикладной многомерный статистический анализ. – М.: Наука, 1978. – С.339-342.

Контрольные вопросы и задачи

1. Чем задачи оценивания параметров распределения отличаются от задач оценивания характеристик распределения?
2. С помощью метода линеаризации обоснуйте вид асимптотических дисперсий оценок метода моментов для параметров гамма-распределения (табл. 3.3 раздела 3.1).
3. Почему одношаговые оценки предпочтительнее оценок максимального правдоподобия?
4. Как связаны законы больших чисел в пространствах произвольной природы и утверждения об асимптотическом поведении решений экстремальных статистических задач?
5. Как соотносятся параметрическая регрессия и непараметрическая регрессия?
6. Сопоставьте различные постановки задач изучения робастности статистических процедур. 
7. В чем основная идея поправок Шеппарда?

Темы докладов, рефератов, исследовательских работ

1. Квантильные оценки.
2. Минимизация расстояния как способ построения оценок параметров.
3. Одношаговые оценки параметров распределения Вейбулла-Гнеденко. 
4. Оптимизационные постановки основных задач прикладной статистики.
5. Роль функции влияния при изучении робастности в модели засорения Тьюки – Хубера.
6. На основе четырех описанных в разделе 3.4 моделей с помощью общей схемы устойчивости (глава 14 настоящего учебника) опишите спектр возможных постановок задач устойчивости статистических процедур.
7. Различные подходы к анализу сгруппированных данных.

Глава 4. Проверка гипотез

4.1. Метод моментов проверки гипотез

	К методу моментов относят все статистические процедуры, основанные на использовании выборочных моментов и функций от них. Метод моментов оценивания параметров распределения рассмотрен в главе 3. В непараметрической статистике на основе выборочных моментов проводится точечное и интервальное оценивание характеристик распределения, таких, как математическое ожидание, дисперсия, среднее квадратическое отклонение, коэффициент вариации (глава 5.1). Для проверки гипотез в непараметрической статистике также используется метод моментов. Примером является критерий Крамера-Уэлча, предназначенный для проверки равенства математических ожиданий по двум независимым выборкам (глава 5.1).
	В практике применения статистических методов (согласно классическим схемам) довольно часто возникает необходимость проверки гипотезы о том, что функция распределения результатов наблюдений Х1, Х2, … , Хn принадлежит параметрическому семейству распределений {F(x, θ), θΘ}, где ΘRk. Как проверять эту гипотезу? 
	Давно разработан универсальный метод – критерий минимума хи-квадрат. Однако у него имеется существенный недостаток – необходимость группирования наблюдений, что приводит к потере информации. Как хорошо известно, это приводит к существенному снижению мощности критерия минимума хи-квадрат по сравнению с критериями типа Колмогорова и типа омега-квадрат. Кроме того, нахождение минимума статистики хи-квадрат – достаточно сложная вычислительная процедура. Поэтому иногда вместо оценок, получаемых при указанной оптимизации, подставляют оценки максимального правдоподобия или какие-либо еще. Такая замена приводит к тому, что распределение рассматриваемой статистики существенно отличается от классического, причем различие не исчезает при росте объема выборки. Предложенная член-корр. АН СССР Л.Н. Большевым и проф. М.С. Никулиным [2] модификация критерия минимума хи-квадрат не снимает недостатков, связанных с группированием и необходимостью существенной вычислительной работы. 
	Общий подход, основанный на дистанционном методе, предложен Дж. Вольфовицем (США) в 1950-х гг. Согласно этому методу, следует основываться на том или ином расстоянии между эмпирической функцией распределения и параметрическим семейством распределений (как многообразием в пространстве всех функций распределения). Конкретная реализация этого подхода приводит к критериям типа Колмогорова и типа омега-квадрат. Однако для каждого конкретного параметрического семейства приходится разрабатывать самостоятельную теорию и рассчитывать только ему соответствующие предельные и точные распределения. Предельные распределения найдены лишь для нескольких семейств, а о точных почти ничего не известно. До сих пор часто делают ошибку, применяя для произвольных семейств предельные распределения, найденные для проверки согласия с фиксированным распределением (см. подробности в главе 2.4). 
	Критерии минимума хи-квадрат и аналогичные им не являются состоятельными, поскольку вероятности попадания в области группирования не задают однозначно функцию распределения. С этим недостатком можно бороться, увеличивая число интервалов группирования вместе с ростом объема выборки, однако на этом пути еще не выработаны рекомендации, пригодные для широкого практического использования. Критерии типа Колмогорова и типа омега-квадрат – состоятельные, т.е. любую альтернативную функцию распределения, не входящую в рассматриваемое параметрическое семейство, они отвергают с вероятностью, стремящейся к 1 при росте объема выборки.
	Для конкретности обсудим проверку согласие результатов наблюдений с трехпараметрическим семейством гамма-распределений с плотностями 
   	(4.1)
Здесь a > 2 - параметр формы, b > 0 - параметр масштаба и с - параметр сдвига, Γ(а) - одна из используемых в математике специальных функций, так называемая «гамма-функция». Критерий минимума хи-квадрат имеет указанные выше недостатки. Критерии типа Колмогорова и типа омега-квадрат для этого случая не разработаны. 
	В подобных ситуациях целесообразно строить критерии согласия на основе функций от выборочных моментов, т.е. пользоваться методом моментов. Для оценивания параметров метод моментов хорошо известен и обычно рассматривается в учебной литературе по теории вероятностей и математической статистике. Реализацией метода моментов для проверки нормальности являются известные критерии асимметрии и эксцесса [3].
	Пример 1. Если случайная величина Х имеет нормальное распределение с математическим ожиданием а и дисперсией σ2, то, как известно [3], 
,
где δ – нормированное среднее абсолютное отклонение, γ1 – коэффициент асимметрии и (β1 – 3) – коэффициент эксцесса. 
	Таким образом, если выборочные оценки указанных моментных отношений существенно отличаются от соответствующих теоретических значений, то следует признать, что распределение результатов наблюдений отлично от нормального. Так как указанные выше значения моментных отношений могут приниматься и для распределений, отличных от нормальных, то близость выборочных значений к только что выписанным не обязательно свидетельствует о нормальности распределения результатов наблюдений. Критерии, полученные методом моментов, служат не столько для проверки нормальности, сколько для выявления отклонений распределения от нормального, или, точнее, для проверки гипотез δ ≠ , γ1 ≠ 0, β1 ≠ 3. Рассматриваемые критерии построены на основе выборочных моментных отношений:
.
	Здесь, как обычно,  - выборочное среднее арифметическое и s2 – выборочная дисперсия, соответственно, s – выборочное среднее квадратическое отклонение. Как вытекает из результатов главы 14 настоящего учебника, все три статистики являются асимптотически нормальными. Выражения для параметров их асимптотических распределений приведены в [3]. Процентные точки распределений рассматриваемых выборочных моментных отношений при конечных объемах выборки найдены в предположении нормальности результатов наблюдений [3].
	Как и критерии минимума хи-квадрат, критерии метода моментов не являются состоятельными. Однако они, как и в случае критериев асимметрии и эксцесса, позволяют в ряде случаев отвергнуть гипотезу согласия. Использование несостоятельных критериев часто встречается в прикладной статистике. Отметим, например, что применение критерия Вилкоксона для проверки гипотезы однородности двух выборок широко распространено, хотя против общей альтернативы он является несостоятельным (см. главу 5.3). 
	Критерии метода моментов основаны на использовании функций от выборочных моментов, имеющих асимптотически нормальные распределения, параметры которых легко могут быть вычислены по методике, описанной в главе 14. Метод моментов по сравнению с другими методами проверки согласия требует существенно меньше вычислений (число операций пропорционально объему выборки). Поэтому он может быть рекомендован для использования при проверке согласия с семействами распределений, для которых не разработаны более совершенные методы, а также в качестве быстрого (экспрессного) метода. Что же касается хорошо изученных семейств, например, нормального, то основанные на использовании моментов критерии асимметрии и эксцесса применять для проверки нормальности нецелесообразно. Судя по специальным исследованиям, следует рекомендовать критерий W Шапиро - Уилка. 
	Продемонстрируем применение метода моментов на примере проверки гипотезы согласия с двухпараметрическим семейством гамма-распределений без сдвига, т.е. выделяемого из семейства (4.1) условием с = 0. Поскольку для трехпараметрического семейства гамма-распределений (4.1)
М(Х) =ab + c,  D(X) = ab2, μ3 = M(X – M(X))3 = 2ab3,
то при справедливости гипотезы Н0: с = 0 выполнено соотношение
.		(4.2)
	Для специалистов по техническим наукам большое значение имеет альтернативная гипотеза
H1: c > 0.
В частности, она связана с дискуссией о выборе нормируемых показателей надежности технических устройств. Альтернативная гипотеза соответствует предположению, что в течение некоторого времени (до момента c > 0) отказы невозможны, а нулевая – с отрицанием этого предположения и признанием того, что отказы возможны в любой момент.
	При справедливости альтернативной гипотезы 
,
поэтому для проверки гипотезы согласия в рассматриваемой постановке целесообразно использовать критерий со статистикой
.
	С помощью описанной в главе 14 методики вычисления предельного распределения функции от выборочных моментов можно установить, что при n → ∞ распределение статистики  сходится к нормальному, причем при справедливости нулевой гипотезы, т.е. соотношения (4.2), асимптотическое распределение имеет нулевое математическое ожидание и дисперсию
.		(4.3)
	Поскольку параметр формы а неизвестен статистику, необходимо в выражении (4.3) заменить а на его состоятельную оценку, например, на оценку метода моментов (см. главу 3.1)
.
	Рассмотрим критерий с критической областью вида
,		(4.4)
где u(1 - α) – квантиль порядка 1 - α стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. При n→∞ уровень значимости этого критерия стремится к α.
	Если альтернативная гипотеза является двусторонней, т.е. , то аналогично строится двусторонняя критическая область. 
	Критерий (4.4) состоятелен против альтернативы H1: c > 0, а также против непараметрической альтернативы 
,
в которой не предполагается, что функция распределения элементов выборки имеет гамма-распределение (4.1) с какими-либо конкретными значениями параметров, но не является состоятельным против общей альтернативы. 
	Пример 2. Применим критерий (4.4) для проверки согласия с гамма-распределением при с = 0, т.е. с двухпараметрическим семейством, данных о наработке n = 50 резцов до предельного состояния (в часах), приведенных в табл. 3.2 раздела 3.1. 
	Для рассматриваемых данных  = 57,88, s2 = 663,00, выборочный третий центральный момент m3 = 14927,91, откуда Z = - 0,01719. При этом a* = 5,05, и потому
.
	Следовательно, гипотеза согласия рассматриваемых данных с двухпараметрическим гамма-распределением не отвергается на любом из обычно используемых уровней значимости, как для односторонней критической области, так и для двухсторонней.

4.2. Неустойчивость параметрических методов 
отбраковки выбросов

При обработке реальных технических, экономических, медицинских и иных данных, полученных в процессе наблюдений, измерений, расчетов, иногда один или несколько результатов наблюдений резко выделяются, т.е. далеко отстоят от основной массы данных. Такие резко выделяющиеся результаты наблюдений часто считают содержащими грубые погрешности, соответственно называют промахами или выбросами. В рассматриваемых случаях возникает естественная мысль, что подобные наблюдения не относятся к изучаемой совокупности, поскольку содержат грубую погрешность, а получены они в результате ошибки, промаха. В справочнике по метрологии об этом явлении говорится так: «Грубые погрешности и промахи возникают из-за ошибок или неправильных действий оператора (его психофизиологического состояния, неверного отсчета, ошибок в записях или вычислениях, неправильного включения приборов и т.п.). А также при резких кратковременных изменениях условий проведения измерений (в результате вибрации, поступления холодного воздуха, толчка прибора оператором и т.п.). Если грубые погрешности и промахи обнаруживают в процессе измерений, то результаты, содержащие их, отбрасывают. Однако чаще всего их выявляют только при окончательной обработке результатов измерений с помощью специальных критериев оценки грубых погрешностей» [4, с.46-47].
Есть два подхода к обработке данных, которые могут быть искажены грубыми погрешностями и промахами:
1) отбраковка резко выделяющихся результатов наблюдений, т.е. обнаружение наблюдений, искаженных грубыми погрешностями и промахами, и исключение их из дальнейшей статистической обработки;
2) применение устойчивых (робастных) методов обработки данных, на результаты работы которых мало влияет наличие небольшого числа грубо искаженных наблюдений (см. подраздел 3.4).
Обсудим методы отбраковки. Наиболее изучена ситуация, когда результаты наблюдений - числа x1, x2,…, xn, среди них резко выделяется один результат наблюдения, для определенности, максимальный xmax.
	Простейшая вероятностно-статистическая модель такова [3]. При нулевой гипотезе H0 результаты наблюдения x1, x2,…, xn рассматриваются как реализация независимых одинаково распределенных случайных величин числа X1, X2,…, Xn с функцией распределения F(x). При альтернативной гипотезе H1 случайные величины X1, X2,…, Xn также независимы, X1, X2,…, Xn-1 имеют распределение F(x), а Xn - распределение G(x), оно «существенно сдвинуто вправо» относительно F(x), например, G(x)=F(x - A), где A достаточно велико. Если альтернативная гипотеза справедлива, то при  вероятность равенства

стремится к 1, поэтому естественно применять решающее правило следующего вида:
	если xmax.> d, то принять H1,
	если xmax.< d, то принять H0 ,                        (4.5)
где d - параметр решающего правила, который следует определять из вероятностно-статистических соображений.
	При справедливости нулевой гипотезы

Статистический критерий проверки гипотезы H0 , основанный на решающем правиле вида (4.5), имеет уровень значимости , если

т.е.
	(4.6)
Из соотношения (4.6) определяют граничное значение d = d(, n) в решающем правиле (4.5).
	При больших n и малых  согласно известным результатам математического анализа
	(4.7)
поэтому в качестве хорошего приближения к d(, n) рассматривают (1-/n) - квантиль распределения F(x).
	Пусть правило отбраковки задано в соответствии с соотношениями (4.5) и (4.6) с некоторой функцией распределения F, однако выборка берется из функции распределения G, мало отличающейся от F в смысле расстояния Колмогорова: 
	(4.8)
	С помощью соотношения (4.7) получаем, что величина = G(d) для d из уравнения (4.6) находится между  и . Таким образом, уровень значимости критерия, построенного для F, при применении к наблюдениям из G есть 1- и может принимать любые значения в отрезке [1-; 1-]. 
	В частности, при  = 0,01,  = 0,05, n = 5 возможные значения уровня значимости заполняют отрезок [0; 0,1], т.е. уровень значимости может быть в 2 раза выше номинального. А если n возрастает до 30, то максимальный уровень значимости есть 0,297, т.е. почти в 6 раз выше номинального. При дальнейшем росте n верхняя граница для уровня значимости, как нетрудно видеть, приближается к 1.
	Рассмотрим и другой вопрос - насколько правило отбраковки с уровнем значимости  для G может отличаться от такового для F при справедливости неравенства (4.8). С использованием соотношения (4.7) заключаем, что из
		(4.9)
следует, что  где  и  выписаны выше. Решение уравнения (4.9) может принимать любое значение в отрезке []. В частности, при =0,05 и n = 5 для стандартного нормального распределения F имеем d(, n) = 2,319, при  = 0,01 решение уравнения (4.9) может принимать любое значение на луче [2,054; + ), при  =0,005 - любое значение в отрезке [2,170; 2,576].
	При использовании любого другого расстояния между функциями распределения выводы о неустойчивости правил отбраковки также справедливы. Отметим, что проведенные рассмотрения выполнены в рамках «общей схемы устойчивости» (см. главу 14.6).
	Рассмотренные примеры показывают, что при конкретном значении = 0,01 в неравенстве (4.8) весьма неустойчивы как уровни значимости при фиксированном правиле отбраковки, так и параметр d правила отбраковки при фиксированном уровне значимости. Обсудим, насколько реалистично определение функции распределения с точностью 
	Есть два подхода к определению функции распределения результатов наблюдений: эвристический подбор с последующей проверкой с помощью критериев согласия и вывод из некоторой вероятностной модели. 
	Пусть с помощью критерия согласия Колмогорова проверяется гипотеза о том, что выборка взята из распределения F. Пусть функции распределения F и G удовлетворяют соотношению (4.8). Пусть на самом деле выборка взята из распределения G, а не F. При каких  не удастся различить F и G? Для определенности, при каких  гипотеза согласия с F будет приниматься не менее чем в 50% случаев?
	Критерий согласия Колмогорова основан на статистике
	(4.10)
где расстояние  между функциями распределения определено выше в формуле (4.8); H - та функция распределения, согласие с которой проверяется, а Fn - эмпирическая функция распределения (т.е. Fn(х) равно доле наблюдений, меньших х, в выборке объема n). Как показал А.Н. Колмогоров в 1933 г., функция распределения случайной величины  при росте объема выборки n сходится к некоторой функции распределения К(х), которую ныне называют функцией Колмогорова. При этом К(1,36)= 0,95 и К(0,83)=0,50.
	Поскольку выборка взята из распределения G, то с вероятностью 0,50
		(4.11)
(при больших n). 
	Тогда для рассматриваемой выборки с учетом неравенства (4.8) и неравенства треугольника для расстояния Колмогорова с учетом симметричности этого расстояния имеем 

Если

т.е.
		(4.12)
то, согласно формуле (4.10), гипотеза согласия принимается (на уровне значимости 0,95) по крайней мере с той же вероятностью, с которой выполнено неравенство (4.11), т.е. с вероятностью не менее 0,50. Для = 0,01 это условие выполняется при n < 2809. Таким образом, для определения функции распределения с точностью  с помощью критерия согласия Колмогорова необходимо несколько тысяч наблюдений, что для большинства задач прикладной статистики нереально. 
	При втором из названных выше подходов к определению функции распределения ее конкретный вид выводится из некоторой системы аксиом, в частности, из некоторой модели порождения соответствующей случайной величины. Например, из модели суммирования вытекает нормальное распределение. А из мультипликативной модели (т.е. модели перемножения) - логарифмически нормальное распределение. Как правило, при выводе используется предельный переход. Так, из Центральной предельной теоремы теории вероятностей вытекает, что сумма независимых случайных величин может быть приближена нормальным распределением. Однако более детальный анализ, в частности, с помощью неравенства Берри-Эссеена (см. раздел 2.1) показывает, что для гарантированного достижения точности  необходимо более полутора тысяч слагаемых. Такого количества слагаемых реально, конечно, указать почти никогда нельзя. Это означает, что при решении практических статистических задач теория дает возможность лишь сформулировать гипотезу о виде функции распределения, а проверять ее надо с помощью анализа реальной выборки объема, как показано выше, не менее нескольких тысяч. 
	Таким образом, в большинстве реальных ситуаций определить функцию распределения с точностью  невозможно.
	Итак, показано, что правила отбраковки, основанные на использовании конкретной функции распределения, являются крайне неустойчивыми к отклонениям от нее распределения элементов выборки, а гарантировать отсутствие подобных отклонений почти всегда невозможно. Поэтому отбраковка по классическим правилам математической статистики [3] не является научно обоснованной, особенно при больших объемах выборок. Указанные правила целесообразно применять лишь для выявления «подозрительных» наблюдений, вопрос об отбраковке которых должен решаться из соображений соответствующей предметной области, а не из формально-математических соображений. 
	Выше для простоты изложения рассмотрен лишь случай полностью известного распределения F, для которого изучено правило отбраковки, заданное формулами (4.5) и (4.6). Аналогичные выводы о крайней неустойчивости правил отбраковки справедливы, если «истинное распределение» принадлежит какому-либо параметрическому семейству, например, нормальному, Вейбулла-Гнеденко, гамма.
	Параметрическим методам отбраковки, основанным на моделях тех или иных параметрических семейств распределений, посвящены многочисленные книги и статьи. Приходится признать, что они имеют в основном внутриматематический интерес. При обработке реальных данных следует применять устойчивые методы (см. разделы 3.4 и 14.6). Прежде всего можно рекомендовать непараметрические методы, а среди них – ранговые (т.е. инвариантные в порядковой шкале).

4.3. Предельная теория непараметрических критериев

	В прикладной статистике широко используются статистики типа омега-квадрат и типа Колмогорова-Смирнова. Они применяются для проверки согласия с фиксированным распределением или семейством распределений, для проверки однородности двух выборок, симметрии распределения относительно 0, при оценивании условной плотности и регрессии в пространствах произвольной природы и т.д. 
	Статистики интегрального типа и их асимптотика. Рассмотрим статистики интегрального типа
,		(4.13)
где Х – некоторое пространство, по которому происходит интегрирование (например, X = [0; 1], X = R1 или X = Rk). Здесь {α} – направленное множество, переход к пределу по которому обозначен как α→∞ (см. главу 14). 
	Случайные функции fα: X×Ω → Y обычно принимают значения, являющиеся числами. Но иногда рассматривают и постановки, в которых У = Rk или У – банахово пространство (т.е. полное нормированное пространство [1]). Наконец, Fα(x,ω) – случайная функция распределения или случайная вероятностная мера; в последнем случае используют также обозначение dFα(x,ω)= Fα(dx,ω).
	Предполагаются выполненными необходимые для корректности внутриматематические предположения измеримости, например, сформулированные в [1].
	Пример 1. Рассмотрим критерий Лемана – Розенблатта, т.е. критерий типа омега-квадрат для проверки однородности двух независимых выборок (см. главу 5). Его статистика имеет вид:
A = Fm(x) – Gn(x))2dHm+n(x) ,
где Fm(x) – эмпирическая функция распределения, построенная по первой выборке объема m, Gn(x)) - эмпирическая функция распределения, построенная по второй выборке объема n, а Hm+n(x) – эмпирическая функция распределения, построенная по объединенной выборке объема m+n. Легко видеть, что
Hm+n(x) = Fm(x) + Gn(x).
	Ясно, что статистика А имеет вид (4.13). При этом х – действительное число, Х = У = R1, в роли α выступает пара (m, n), и α→∞ означает, что min(m, n) → ∞. Далее, 
fα(x,ω) =.
Наконец, Fα(x,ω) = Hm+n(x).
	Теперь обсудим асимптотическое поведение функций fα(x,ω) и Fα(x,ω), с помощью которых определяется статистика А. Ограничимся случаем, когда справедлива гипотеза однородности, функции распределения, соответствующие генеральным совокупностям, из которых взяты выборки, совпадают. Их общую функцию распределения обозначим F(x). Она предполагается непрерывной. 
	Введем в рассмотрение выборочные процессы
.
Нетрудно проверить, что
.
	Сделаем замену переменной t = F(x). Тогда выборочные процессы переходят в соответствующие эмпирические (см. главу 14):
.
Конечномерные распределения этого процесса, т.е. распределения случайных векторов

для всех возможных наборов (t1, t2, … , tk), сходятся к конечномерным распределениям квадрата броуновского моста ξ2(t). В соответствии с разделом 14.5 рассматриваемая сходимость по распределению обозначается так:
.		(4.14)
	Нетрудно видеть, что 
Fα(x,ω) = Hm+n(x) → F(x)
при α→∞. С помощью замены переменной t = F(x) получаем, что 
Fα(F-1(t),ω) = Hm+n(F-1(t)) → t		(4.15)
при α→∞. Из соотношений (4.14) и (4.15) хотелось бы сделать вывод, что в случае статистики Лемана - Розенблатта типа омега-квадрат 
,
т.е. предельным распределением этой статистики является классическое распределение омега-квадрат [3], найденное как предельное для одновыборочной статистики критерия согласия омега-квадрат Крамера-Мизеса-Смирнова.
	Действительно, сформулированное утверждение справедливо. Однако доказательство нетривиально. 
	Так, может показаться очевидным следующее утверждение.
	Утверждение 1. Пусть f: [0; 1] → R1 – ограниченная функция, Gn(x) и G(x) – функции распределения, Gn(0) = G(0) =0, Gn(1) = G(1) = 1, причем Gn(x) → G(x) при всех х. Тогда
.		(4.16)
	Это утверждение неверно. Действительно, пусть f(x) = 1, если х рационально, и f(x) = 0, если х иррационально, G(x) = x, а Gn(x) имеет скачки величиной 2-n в точках m/2n, m = 1, 2, … , 2n при всех n =1, 2, … Тогда Gn(x) → G(x) при всех х, однако

при всех n = 1, 2, … Следовательно, вопреки сформулированному выше утверждению 1, 
,
т.е. соотношение (4.16) неверно.
	Итак, сформулируем проблему. Пусть известно, что последовательность случайных функций fα(x, ω) сходится по распределению при α→∞ к случайной функции f(x,ω). Пусть последовательность случайных мер Fα(A,ω) сходится по распределению к вероятностной мере F(A) при α→∞. Если речь идет о конечномерном пространстве и меры задаются функциями распределения, то сходимость Fα(х,ω) к F(х) должна иметь место во всех точках непрерывности F(х). В каких случаях можно утверждать, что при α→∞ справедлив предельный переход    
?
Выше показано, что, например, ограниченности fα(x, ω) для этого недостаточно.
	Метод аппроксимации ступенчатыми функциями. Пусть T = {С1, С2, … , Сk} – разбиение пространства Х на непересекающиеся подмножества. Пусть в каждом элементе Сj разбиения T выделена точка xj, j = 1, 2, … , k. На множестве функций f: X → Y введем оператор AT: если xСj, то
ATf(x) = f(xj), j = 1, 2, … . k.		(4.17)
Тогда ATf – аппроксимация функции f ступенчатыми (кусочно-постоянными) функциями. 
	Пусть fα(x,ω) – последовательность случайных функций на Х, а К(∙) – функционал на множестве всех возможных их траекторий как функций от х. Для изучения распределения К(fα) методом аппроксимации ступенчатыми функциями используют разложение
К(fα) = К(АТfα) + {К(fα) - К(АТfα)}.		(4.18)
Согласно (4.17) распределение первого слагаемого в (4.18) определяется конечномерным распределением случайного элемента, а именно, распределением вектора 
(fα(x1,ω), fα(x2,ω), …  fα(xk,ω)).		(4.19)
	В обычных постановках предельной теории непараметрических критериев распределение вектора (4.19) сходится при α→∞ к соответствующему конечномерному распределению предельной случайной функции f(x,ω), т.е. к распределению случайного вектора 
(f(x1,ω), f(x2,ω), …  f(xk,ω)).		(4.20)
В соответствии с теорией наследования сходимости (глава 14) при слабых условиях на функционал К(∙) из сходимости по распределению вектора (4.19) к вектору (4.20) следует сходимость по распределению К(АТfα) к К(АТf). 
	Используя аналогичное (4.18) разложение
К(f) = К(АТf) + {К(f) - К(АТf)},		(4.21)
можно устанавливать сходимость по распределению К(fα) к К(f) при α→∞ в два этапа: сначала выбрать разбиение Т так, чтобы вторые слагаемые в правых частях соотношений (4.18) и (4.21) были малы, а затем при фиксированном операторе АТ воспользоваться сходимостью по распределению К(АТfα) к К(АТf). 
	Рассмотрим простой пример применения метода аппроксимации ступенчатыми функциями.
	Обобщение теоремы Хелли. Пусть f: [0; 1] → R1 – измеримая функция, Fn(x) – функции распределений, сосредоточенных на отрезке [0; 1]. Пусть Fn(x) сходятся в основном к функции распределения F(x), т.е.
		(4.22)
для всех х, являющихся точками непрерывности F(x).
	Утверждение 2. Если f(x) – непрерывная функция, то
		(4.23)
(рассматриваются интегралы Лебега-Стилтьеса).
	Утверждение 2 известно в литературе как первая теорема Хелли (А.Н. Колмогоров, С.В. Фомин), вторая теорема Хелли (Б.В. Гнеденко), лемма Хелли-Брея (М. Лоэв).
	Естественно поставить вопрос: при каких f из (4.22) следует (4.23)? Необходимо ввести условия и на Fn: если Fn ≡ F, то соотношение (4.23) верно для любой измеримой функции f, для которой интеграл в (4.23) существует. Поэтому рассмотрим следующую постановку.
	Постановка 1. Пусть функция f такова, что для любой последовательности Fn, удовлетворяющей (4.22), справедливо (4.23). Что можно сказать о функции f?
	Нами найдены следующие необходимые и достаточные условия на функцию f.
	Теорема 1. Пусть ограниченная на [0; 1] функция f интегрируема по Риману-Стилтьесу по функции распределения F(x). Тогда для любой последовательности функций распределения Fn, сходящейся в основном к F, имеет место предельный переход (4.23).
	Теорема 2. Пусть функция f не интегрируема по Риману-Стилтьесу по функции распределения F(x). Тогда существует последовательность функций распределения Fn, сходящаяся в основном к F, для которой соотношение (4.23) не выполнено. 
	Теоремы 1 и 2 в совокупности дают необходимые и достаточные условия для f в постановке 1. А именно, необходимо и достаточно, чтобы ограниченная на [0; 1] функция f была интегрируема по Риману-Стилтьесу по F. 
	Напомним определение интегрируемости функции f по Риману-Стилтьесу по функции распределения F. Рассмотрим разбиение T = {С1, С2, … , Сk}, где
Сi = [yi-1, yi), i = 1, 2, …, m – 1, Сm = [ym-1, ym], 	(4.24)
0 = y0 < y1 < y2 <…< ym = 1.
Выберем в Сi произвольную точку xi, i = 1, 2, …, m, и составим сумму 
.
Если при max(yi – yi-1) → 0 эти суммы стремятся к некоторому пределу (не зависящему ни от способа дробления отрезка [0; 1], ни от выбора точек xi  в каждом из элементов разбиения), то этот предел называется интегралом Римана-Стилтьеса от функции f по функции F по отрезку [0; 1] и обозначается символом, приведенным в правой части равенства (4.23).
	Рассмотрим суммы Дарбу-Стилтьеса

где
.
Ясно, что 
SH(T) < S(T) < SB(T).
Необходимым и достаточным условием интегрируемости по Риману-Стилтьесу является следующее: для любой последовательности разбиений Tk, k = 1, 2, 3, … вида (4.24) такой, что max(yi – yi-1) → 0 при k→∞, имеем
.		(4.25)
	Напомним, что колебанием δ(f, B) функции f на множестве B называется δ(f, B) = sup{|f(x) – f(y)|, xB, yB}. Поскольку 
δ(f, Сi) = Mi – mi,
то условие (4.25) можно записать в виде
. 		(4.26)
Условие (4.26), допускающее обобщение с Х = [0; 1] и f: [0; 1] → R1 на X и f более общего вида, и будем использовать при доказательстве теорем 1 и 2.
	Доказательство теоремы 1. Согласно методу аппроксимации ступенчатыми функциями рассмотрим оператор АТ. Как легко проверить, имеет место разложение
.	(4.27)
	Поскольку
|f(x) - ATf(x)| < δ(f, Xi),  xСi, 
то первое слагаемое в правой части (4.27) не превосходит
,		(4.28)
а второе не превосходит 
.
Согласно определению оператора АТ третье слагаемое в (4.27) имеет вид
.
Очевидно, оно не превосходит по модулю

(здесь используется ограниченность f на X).
	Согласно (4.28) первое слагаемое в правой части (4.27) не превосходит 
.
Поскольку
,
то первое слагаемое в правой части (4.27) не превосходит 
.
	Из оценок, относящихся к трем слагаемым в разложении (4.27), следует, что 
.		(4.29)
	Используя оценку (4.29), докажем, что βn → 0 при n → ∞. Пусть дано ε > 0. Согласно условию интегрируемости функции f по Риману-Стилтьесу, т.е. условию (4.26), можно указать разбиение T = T(ε) такое, что 
,		(4.30)
и в точках yi, i = 1, 2, …, m - 1 (см. (4.24)), функция F непрерывна. 
	Поскольку 
Fn(Xi) = Fn(yi) - Fn(yi-1),
то из (4.22) следует, что существует число n = n(ε) такое, что при n > n(ε) справедливо неравенство
.	(4.31)
Из (4.29), (4.30) и (4.31) следует, что при n > n(ε) справедливо неравенство
,
что и требовалось доказать.
	Обсудим условие ограниченности f. Если оно не выполнено, то из (4.22) не всегда следует (4.23).
	Пример 2. Пусть f(x) = 1/x при x > 0 и f(0)=0. Пусть F(0,5) = 0, т.е. предельное распределение сосредоточено на [1/2; 1]. Пусть распределение Fn на [0; 1/2) имеет единственный атом в точке x = 1/n величиной n-1/2, а на [1/2; 1] справедливо (4.22). Тогда по причинам, изложенным при доказательстве теоремы 1,
,
однако
,
т.е. соотношение (4.23) не выполнено.
	Условие ограниченности подынтегральной функции f можно заменить на условие строгого возрастания функции распределения F. 
	Лемма. Пусть функции распределения F всюду строго возрастает, т.е. из x1 < x2 вытекает F(x1) < F(x2). Пусть функция f интегрируема по Риману-Стилтьесу по F, т.е. выполнено (4.26). Тогда функция f ограничена. 
	Доказательство. Рассмотрим точки 0 = y0 < y1 < y2 <…< y2m = 1 и два разбиения
.
Тогда для любых двух точек х и х′ можно указать конечную последовательность точек x1 = x, x2, x3, …, xs, xs+1 = x′ такую, что любые две соседние точки xi, xi+1, i = 1, 2, …, s, одновременно принадлежат некоторому элементу Ci разбиения T1 или разбиения T2, причем Сi ≠ Сj при i ≠ j. Действительно, пусть . Пусть для определенности q > p. Тогда можно положить x2 = yp+1, x3 = yp+2, …, xs = yq. Поскольку среди элементов разбиений Т1 и Т2 есть С1 = [yp; yp+2), то . Далее, , и т.д.
	Из указанных выше свойств последовательности x1 = x, x2, x3, …, xs, xs+1 = x′ следует, что
.
Пусть теперь число max(yi – yi-2) настолько мало, что согласно (4.26)
.
Тогда согласно двум последним соотношениям
,
что и доказывает лемму.
	Доказательство теоремы 2. Пусть условие (4.26) не выполнено, т.е. существуют число γ > 0 и последовательность разбиений Tn, n = 1, 2, …, такие, что max(yi – yi-1) → 0 при n→∞ и при всех n
.		(4.32)
Для доказательства теоремы построим две последовательности функций распределения F1n и F2n, n = 1, 2, …, для которых выполнено (4.22), но последовательность

не стремится к 0 при n → ∞. Тогда (4.23) не выполнено хотя бы для одной из последовательностей F1n и F2n.
	Для любого С – элемента некоторого разбиения Т – можно указать, как вытекает из определения δ(f, C), точки x1(C) и x2(C) такие, что
f (x1(C)) - f(x2(C)) > Ѕ δ(f, C).		(4.33)
	Построим F1n и F2n следующим образом. Пусть F1n(С) = F2n(С) = F(С) для любого С из Tn. При этом F1n имеет в С один атом в точке x1(C) величиной F(С), а F2n имеет в С также один атом в точке x2(C) той же величины F(С). Другими словами, распределение F1n в С сосредоточено в одной точке, а именно, в x1(C), а распределение F2n сосредоточено в x2(C). Тогда
.		(4.34)
Из (4.32), (4.33) и (4.34) следует, что 
.
	Остается показать, что для последовательностей функций распределения F1n и F2n выполнено (4.22). Пусть х – точка непрерывности F. Пусть
y1(x, T) = max{ykn: ykn < x}, y2(x, T) = min{ ykn: ykn > x}, 
где ykn – точки, определяющие разбиения Tn согласно (4.24). В соответствии с определением Fin
Fin(yj(x, Tn))= F(yj(x, Tn)), i = 1, 2, j = 1, 2,
а потому
|Fin(x) – F(x)| < F(y2(x, Tn)) - F(y1(x, Tn)), i = 1, 2.
В силу условия max(ykn – y(k-1)n) → 0 и непрерывности F в точке x правая часть последнего соотношения стремится к 0 при n → ∞, что и заканчивает доказательство теоремы 2. 
	Теоремы 1 и 2 демонстрируют основные идеи предельной теории статистик интегрального типа и непараметрических критериев в целом. Как показывают эти теоремы, основную роль в рассматриваемой теории играет предельное соотношение (4.26). Отметим, что если δ(f, Tn) → 0 при n → ∞, то (4.26) справедливо, но, вообще говоря, не наоборот. 
	Естественно возникает еще ряд постановок. Пусть (4.26) выполнено для f1 и f2. При каких функциях h это соотношение выполнено для h(x, f1(x), f2(x))? 
	В прикладной статистике вместо f(x) рассматривают fα(x, ω) и f(x, ω), а вместо интегрирования по функциям распределения Fn(x) – интегрирование по случайным мерам Fα(ω). Как меняются формулировки в связи с такой заменой? 
	В связи со слабой сходимостью (т.е. сходимостью по распределению) ATfα к AT и переходом от fα(x, ω) к hα(x, f1α(x, ω), f2α(x, ω)) возникает следующая постановка. Пусть последовательность случайных элементов κα слабо сходится к случайному элементу κ при α→∞. Когда распределения случайных элементов gα(κα) сближаются с распределениями случайных элементов gα(κ)? Полным ответом на последний вопрос являются необходимые и достаточные условия наследования сходимости. Они приведены в главе 14.
	Основные результаты. Наиболее общая теорема типа теоремы 1 выглядит так.
	Теорема 3. Пусть существует последовательность разбиений Tn, n = 1, 2, …, такая, что при n →∞ и α→∞
.		(4.35)
Пусть для любого С, входящего хотя бы в одно из разбиений Tn,
Fα(C, ω) → F(C)		(4.36)
при α→∞ (сходимость по вероятности). Пусть fα асимптотически ограничены по вероятности при α→∞. Тогда 
		(4.37)
при α→∞ (сходимость по вероятности).
	Как известно, полное сепарабельное метрическое пространство называется польским. Это понятие понадобится для формулировки аналога теоремы 2.
	Теорема 4. Пусть Х – польское пространство, У конечномерно, существует измельчающаяся последовательность Tn разбиений, для которой соотношение (4.35) не выполнено. Тогда существует удовлетворяющая (4.36) последовательность Fα, для которой соотношение (4.37) неверно, хотя Fα слабо сходится к F при α→∞.
	Условие (4.35) естественно назвать условием римановости, поскольку в случае, рассмотренном в теореме 1, оно является условием интегрируемости по Риману-Стилтьесу. Рассмотрим наследуемость римановости при переходе от f1α(x, ω) со значениями в У1 и f2α(x, ω) со значениями в У2, удовлетворяющих (4.35), к hα(x, f1α(x, ω), f2α(x, ω)) со значениями в У3.
	Положим
,
где ||∙||k – норма (т.е. длина вектора) в пространстве Yk, k = 1, 2. Рассмотрим также множества

и функции
.
Наконец, понадобится измеритель колеблемости 

и множество
.
	Теорема 5. Пусть hα асимптотически (при α→∞) ограничены на Z(a) при любом положительном a, функции f1α и f2α асимптотически ограничены по вероятности и удовлетворяют условию (4.35). Пусть для участвующей в (4.35) последовательности Tn
c(hα, Tn, a, ε) → 0		(4.38)
при α→∞, n→∞, ε→ 0 и любом положительном a. Тогда f3α(x, ω) = hα(x, f1α(x, ω), f2α(x, ω)) удовлетворяют условию (4.35) и асимптотически ограничены по вероятности. 
	Теорема 6. Пусть условие (4.38) не выполнено для hα. Тогда существуют детерминированные ограниченные функции f1α и f2α такие, что соотношение (4.35) выполнено для f1α и f2α и не выполнено для f3α.
	Пример 3. Пусть X = [0; 1]k, пространства Y1 и Y2 конечномерны, функция hα ≡ h(x, y1, y2) непрерывна. Тогда условие (4.38) выполнено.
	С помощью теорем 3 и 5 и результатов о наследовании сходимости можно изучить асимптотическое поведение статистик интегрального типа

со значениями в банаховом пространстве У. 
	Теорема 7. Пусть для некоторой последовательности Tn разбиений Х справедливы соотношения (4.35) для f1α и f2α и (4.36) для Fα. Пусть последовательность функций hα удовлетворяет условию в теореме 5, конечномерные распределения (f1α(x, ω), f2α(x, ω)) слабо сходятся к конечномерным распределениям (f1(x, ω), f2(x, ω)), причем для f1 и f2 справедливо соотношение (4.35). Тогда
,
где L – расстояние Прохорова (см. раздел 14.3),
.
	Теорема 7 дает общий метод получения асимптотических распределений статистик интегрального типа. Важно, что соотношение (4.35) выполнено для эмпирического процесса и для процессов, связанных с оцениванием параметров при проверке согласия [1]. 
	Один из выводов общей теории: в качестве Fα можно использовать практически любую состоятельную оценку истинной функции распределения. Этот вывод использовался при построении критерия типа омега-квадрат для проверки симметрии распределения относительно 0 и обнаружения различий в связанных выборках (глава 5).
	Асимптотическое поведение критериев типа Колмогорова может быть получено с помощью описанного выше метода аппроксимации ступенчатыми функциями. Этот метод не требует обращения к теории сходимости вероятностных мер в функциональных пространствах. Для критериев Колмогорова и Смирнова достаточно использовать лишь свойства эмпирического процесса и броуновского моста. В случае проверки согласия добавляется необходимость изучения еще одного  случайного процесса. Он является разностью между двумя функциями распределения. Одна - функция распределения элементов выборки. Вторая - член параметрического семейства распределений, полученный путем подстановки оценок параметров вместо их истинных значений.  

4.4. Метод проверки гипотез по совокупности малых выборок
 
	Одна из областей применения прикладной статистики – статистические методы управления качеством продукции (см. главу 10 настоящего учебника). К ним относится статистический приемочный контроль, в котором по результатам испытаний элементов выборки делается вывод о качестве партии продукции. В простейшем варианте проводится контроль по альтернативному признаку, при котором возможны лишь два результата контроля конкретной единицы продукции – «соответствует требованиям» или «не соответствует требованиям», короче – «да» или «нет». 
	Рассмотрим статистический приемочный контроль по двум альтернативным признакам одновременно. На основе теории люсианов [1] обсудим проблему проверки независимости двух альтернативных признаков. Ее приходится проводить по совокупности малых выборок, т.е. в так называемой асимптотике А.Н.Колмогорова, когда число неизвестных параметров распределения не является постоянным, а растет пропорционально объему данных.
	Испытания по двум альтернативным признакам. При статистическом контроле качества продукции, в частности, при сертификации, чаще всего используют контроль по альтернативным признакам. При этом устанавливается, соответствует ли контролируемый параметр единицы продукции (изделия, детали) заданным в нормативно-технической документации требованиям или не соответствует. Если соответствует - единица продукции признается годной. Примем для определенности, что в этом случае результат контроля кодируется символом 0. Если же не соответствует - единица продукции признается дефектной, а результат контроля кодируется символом 1. 
	Таким образом, в рассматриваемой нами математической модели контроля альтернативный признак - это функция X = X(w), определенная на множестве единиц продукции W = {w} и принимающая два значения 0 и 1. Причем X(w) = 0 означает, что единица продукции w является годной, а X(w) = 1 - что она является дефектной. 
	Методы статистического контроля, в частности, включенные в государственные стандарты и иную нормативно-техническую документацию (НТД), как правило, используют контроль по одному признаку. В НТД указывают правила выбора планов контроля и расчета различных их характеристик, приводят графики оперативных характеристик и т.п.
	Однако на производстве контроль нередко проводится по нескольким альтернативным признакам. Возникает проблема выбора плана контроля и расчета его характеристик. 
	Рассмотрим сначала контроль по двум альтернативным признакам X(w) и Y(w). В вероятностной модели X(w) и Y(w) - случайные величины, принимающие два значения - 0 и 1. Пусть, пользуясь стандартной (для статистических методов управления качеством) терминологией,  
p1 = P(X(w) = 1) 
-  входной уровень дефектности для первого признака, а
p2 = P(Y(w) = 1) 
- для второго. Вероятности результатов контроля по двум признакам одновременно описываются четырьмя числами:
P(X(w) = 0, Y(w) = 0) = p00, P(X(w) = 1, Y(w) = 0) = p10,
P(X(w) = 0, Y(w) = 1) = p01,  P(X(w) = 1, Y(w) = 1) = p11.
При этом справедливы соотношения: 
p00 + p10 + p01 + p11 = 1,   p10  + p11 =  p1,  p01 + p11 = p2.
С прикладной точки зрения наиболее интересна вероятность p00 того, что единица продукции является годной (по всем параметрам), и вероятность ее дефектности (1-p00 ), т.е. входной уровень дефектности для изделия в целом.
	В табл. 4.1 сведены вместе введенные выше вероятности.
 
Таблица 4.1
Вероятности результаты испытаний при контроле
по двум альтернативным признакам
	X=0	X=1	Всего	
Y=0				
Y=1				
Всего			1	

	Есть три важных частных случая - поглощения, несовместности и независимости дефектов. Другими словами, поглощения, несовместности и независимости событий {w: X(w) = 1} и {w: Y(w) = 1}. В случае поглощения одно из этих событий содержит другое, а потому 
p00 = 1 - max(p1 , p2).
В случае несовместности
p00 = 1 - p1  - p2.
В случае независимости
p00   = (1 - p1)(1 - p2) =  1 - p1 - p2 + p1p2.
Очевидно, что вероятность годности изделия всегда заключена между значениями, соответствующими случаям поглощения и несовместности. Кроме того, известно, что при большом числе признаков и малой вероятности дефектности по каждому из них случаи поглощения и независимости дают (в асимптотике) крайние значения для вероятности годности изделия, т.е. формулы, соответствующие независимости и несовместности, асимптотически совпадают. Причина этого явления в том, что при малости p1 и p2 их произведение p1p2 является бесконечно малой более высокого порядка по сравнения с p1 и p2.
	Рассмотрим несколько примеров. Пусть некоторая продукция, скажем, гвозди, контролируются по двум альтернативным признакам, для определенности, по весу и длине. Пусть результаты контроля 1000 единиц продукции представлены в табл. 4.2. 

Таблица 4.2 
Результаты 1000 испытаний по двум
альтернативным признакам (случай поглощения)
	Х=0	Х=1	Всего	
У=0	952	0	952	
У=1	0	48	48	
Всего	952	48	1000	

	Судя по данным табл. 4.2, дефекты всегда встречаются парами - если есть один, то есть и другой. Входной уровень дефектности как по каждому показателю, так и по обоим вместе - один и тот же, а именно, 0,048. Получив по результатам статистического наблюдения данные типа приведенных в табл. 4.2, целесообразно перейти к контролю только одного показателя, а не двух. Каково именно? Видимо, того, контроль которого дешевле. Однако совсем иная ситуация в случае несовместности дефектов (табл. 4.3).

Таблица 4.3
Результаты 1000 испытаний по двум
альтернативным признакам (случай несовместности )
	Х=0	Х=1	Всего	
У=0	904	48	952	
У=1	48	0	48	
Всего	952	48	1000	

	Судя по данным табл. 4.3, дефекты всегда встречаются поодиночке  - если есть один, то другого нет. В результате входной уровень дефектности по каждому признаку по-прежнему равен 0,048, в то время как доля дефектных изделий (т.е. имеющих хотя бы один дефект) вдвое выше, т.е. входной уровень дефектности для изделия в целом равен 0,096.
	Случай независимости результатов контроля по двум независимым признакам (табл. 4.4) лежит между крайними случаями поглощения и несовместности. Независимость альтернативных признаков обосновывается путем статистической проверки с помощью описанного ниже критерия n1/2V. 

Таблица 4.4 
Результаты 1000 испытаний по двум
альтернативным признакам (случай независимости)
	Х=0	Х=1	Всего	
У=0	909	43	952	
У=1	43	5	48	
Всего	952	48	1000	

	Согласно данным табл. 4.4, входной уровень дефектности для каждого из двух альтернативных признаков по-прежнему равен 0,048, в то время как для изделий в целом он равен 0,091, т.е. на 5,2% меньше, чем в случае несовместности, и на 89,6% больше, чем в случае поглощения.
	Проблема в том, что таблицы и стандарты по статистическому приемочному контролю относятся обычно к случаю одного контролируемого параметра. А как быть, если контролируемых параметров несколько? Приведенные выше примеры показывают, что входной уровень дефектности изделия в целом не определяется однозначно по входным уровням дефектности отдельных его параметров.
	Гипотеза независимости. Как должны соотноситься характеристики планов контроля по отдельным признакам с характеристиками плана контроля по двум (или многим) признакам одновременно? Рассмотрим распространенную рекомендацию - складывать уровни дефектности, т.е. считать, что уровень дефектности изделия в целом равен сумме уровней дефектности по отдельным его параметрам. Она, очевидно, опирается на гипотезу несовместности дефектов, а потому во многих случаях преувеличивает дефектность, следовательно, ведет к использованию излишне жестких планов контроля, что экономически невыгодно.
	Зная специфику применяемых технологических процессов, в ряде конкретных случаев можно предположить, что дефекты по различным признакам возникают независимо друг от друга. Это предположение необходимо обосновывать по статистическим данным. Если же оно обосновано, следует рассчитывать входной уровень дефектности по формуле
1 - p00 = p1 + p2 - p1p2,
 соответствующей независимости признаков.
	 Итак, необходимо уметь проверять по статистическим данным гипотезу независимости двух альтернативных признаков. Речь идет о статистической проверке нулевой гипотезы
Н0:  p11 = p1 p2 		 (4.39) 
(что эквивалентно проверке равенства p00 = (1 - p1)(1 - p2)). Нетрудно проверить, что гипотеза о справедливости равенства (4.39) эквивалентна гипотезе
 Н0 : p00 p11 - p10 p01 = 0. 		(4.40)
	В простейшем случае предполагается, что проведено n независимых испытаний (Xi , Yi), i = 1, 2, ..., n, в каждом из которых проконтролированы два альтернативных признака, а вероятности результатов контроля не меняются от испытания к испытанию. Общий вид статистических данных приведен в табл. 4.5. 

Таблица 4.5
Общий вид результатов контроля
по двум альтернативным признакам
	Х=0	Х=1	Всего	
У=0	a	b	a+b	
У=1	c	d	c+d	
Всего	a+c	b+d	n	

	В табл. 4.5 величина a - число испытаний, в которых (Xi , Yi) = (0,0), величина b - число испытаний, в которых (Xi , Yi) = (1,0), и т.д.
	Случайный вектор (a, b, c, d) имеет мультиномиальное распределение с числом испытаний n и вектором вероятностей исходов (p00, p10, p01, p11). Состоятельными оценками этих вероятностей являются дроби a/n, b/n, c/n, d/n соответственно. Следовательно, критерий проверки гипотезы (4.40) может быть основан на статистике 
Z = ad - bc.		(4.41)
Как вытекает из известной формулы для ковариаций мультиномиального вектора (см., например, формулу (6.3.5) в учебнике С.Уилкса [5] на с.153),
М(Z) = n (p10 p01  - p00 p11), 		(4.42)
что равно 0 при справедливости гипотезы независимости (4.40).
	Связь между переменными X и Y обычно измеряется коэффициентом, отличающимся от Z нормирующим множителем: 
V = (ad - bc){(a + b)(a + c)(b + d)(c + d)}-1/2 
(см. классическую монографию М. Дж. Кендалла и А. Стьюарта [6, с.723]). При справедливости гипотезы Н0 и больших n случайная величина nV2 имеет хи-квадрат распределение с одной степенью свободы, а n1/2V имеет стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1 (см. [6, с.736]). Значение n1/2V для данных табл. 4.4 равно 1,866, т.е на уровне значимости 0,05 гипотезу независимости следует принять.
	Пусть проведено 100 испытаний, результаты которых описаны в табл. 4.6. Тогда
V = (50 . 20 - 10 . 20) (60 . 70 . 30 . 40)-1/2 = 
= (1000 - 200) . 5940000-1/2 = 800 / 2245 = 0,35635,
n1/2V = 3,5635  .

Таблица 4.6
Результаты 100 испытаний по двум альтернативным признакам
	Х=0	Х=1	Всего	
У=0	50	10	60	
У=1	20	20	40	
Всего	70	30	100	

	Поскольку полученное значение n1/2V превышает критическое значение при любом применяемом в статистике уровне значимости, то гипотезу о независимости признаков необходимо отклонить. 
	Проверка гипотез по совокупности малых выборок. К сожалению, приведенный простой метод годится не всегда. При статистическом анализе реальных данных возникают проблемы, связанные с отсутствием достаточно больших однородных выборок, т.е. выборок, в которых постоянны параметры вероятностных распределений. Реально единицы продукции представляются на контроль партиями. Из каждой партии контролируются лишь несколько изделий, т.е. малая выборка. От партии к партии меняются параметры p00, p10, p01, p11, описывающие уровень дефектности. Поэтому необходимы статистические методы, позволяющие проверять гипотезу независимости признаков по совокупности малых выборок. Построим один из возможных методов.
	Рассмотрим вероятностную модель совокупности k малых выборок объемов n1 , n2 ,..., nk соответственно. Пусть j -я выборка (Xjt , Yjt), t = 1, 2,..., nj , имеет распределение, задаваемое вектором параметров (p00j, p10j, p01j, p11j) в соответствии с ранее введенными обозначениями, j = 1,2,...,k . Будем проверять гипотезу
Н0: p11j = (p10j + p11j) (p01j + p11j), j = 1,2,...,k,  		(4.43)
или в эквивалентной формулировке 
 Н0:  p11j p00j -  p10j p01j , j = 1,2,...,k .			(4.44)
	Основная идея состоит в нахождении асимптотического распределения статистики типа n1/2V при росте числа k малых выборок, а именно, статистики
 S = g1 Z1 +  g2 Z2 + ... +  gk Zk ,		(4.45)
где Z1, Z2, ..., Zk - статистики, рассчитанные по формуле (4.41) для каждой из k выборок, т.е. Zj = ajdj – bjcj , j = 1, 2, ..., k, а g1 , g2 , ... , gk - некоторые весовые коэффициенты, которые, в частности, могут совпадать. Поскольку
М(S) = g1 М(Z1) +  g2 М(Z2) + ... +  gk М(Zk),
то при справедливости гипотезы независимости (4.43) - (4.44) имеем М(S) = 0 согласно соотношению (4.42). Поскольку слагаемые в сумме (4.45) независимы, то при росте k случайная величина S в силу Центральной предельной теоремы является асимптотически нормальной. Дисперсия этой величины равна сумме дисперсий слагаемых:
.	(4.46)
	Для оценивания дисперсии S необходимо использовать несмещенные оценки дисперсий в каждой из k выборок (и в этом одна из основных «изюминок» разбираемого метода). Предположим, что построены статистики Tj такие, что 
М(Tj) = D(Zj) , j = 1, 2, ..., k.		(4.47)
Тогда при некоторых математических «условиях регулярности», на которых нет необходимости здесь останавливаться, несмещенная оценка дисперсии статистики S, имеющая согласно формулам (4.46) и (4.47) вид 
,
в силу закона больших чисел такова, что дробь D(S)/L приближается к 1 при росте числа выборок (сходимость по вероятности). Отсюда следует, что распределение случайной величины Q = SL-1|2 приближается при росте числа выборок к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1. Следовательно, критерий проверки гипотезы (4.43) - (4.44) независимости признаков, состоящий в том, что при (-1,96) < Q < 1,96 гипотеза принимается, а при Q , выходящих за пределы интервала (-1,96; 1,96), гипотеза отклоняется, имеет уровень значимости, приближающийся к 0,05 при росте числа выборок. Мощность этого критерия зависит от величины М(S)D(S)-1/2 при альтернативной гипотезе.
	Для реализации намеченного плана осталось научиться несмещенно оценивать D(Zj). К сожалению, в литературе по несмещенному оцениванию не рассматривают случай мультиномиального распределения, поэтому кратко опишем процедуру построения несмещенной оценки D(Zj). Поскольку согласно формулам (4.41) и (4.42)
	(4.48)
то для вычисления D(Zj) достаточно найти входящие в правую часть формулы (4.48) начальные смешанные моменты мультиномиального распределения (четвертого порядка). Теоретически это просто - известен вид характеристической функции мультиномиального распределения (см., например, формулу (6.3.4) в монографии [5, с.152]), а начальные смешанные моменты равны значениям ее соответствующих производных в 0, деленным на нужную степень мнимой единицы (формула (5.2.3) в монографии [5, с.131]). Например, с помощью описанной процедуры после некоторых вычислений получаем, что (для упрощения записи здесь и далее опустим индекс j)
		(4.49)
	Формула (4.49) показывает, что начальные смешанные моменты мультиномиального распределения являются многочленами от параметров p11, p00, p10, p01 этого распределения, однако конкретный вид этих многочленов достаточно громоздок, поэтому не будем их здесь выписывать, ограничившись формулой (4.49) в качестве образца. 
	Как вытекает из формул (4.48) и (4.49), для построения несмещенной оценки D(Zj) достаточно научиться несмещенно оценивать произведения типа , где целые неотрицательные числа r, m не превосходят 2. Эта задача решается, начиная с меньших  степеней. Известно, что для ковариации мультиномиального вектора 
М(ad) = - n p00 p11 		(4.50)
(см., например, формулу (6.3.5) в монографии [5, с.153]), а потому несмещенной оценкой для p00p11 является (-ad/n). Далее, поскольку справедлива аналогичная (4.49) формула
, 		(4.51)
то с помощью формулы (4.50) преобразуем формулу (4.51) к виду
,		(4.52)
т.е. несмещенной оценкой  является ad(a+n-1){n(n-1)(n-2)}-1. 
	Следующий шаг - аналогичным образом с помощью формул (4.50) и (4.52) получаем несмещенную оценку для , а затем и для D(Zj). Промежуточные формулы опущены из-за громоздкости. Окончательный результат таков:
.
Как легко видеть, 
,
т.е. в случае одной выборки предлагаемый метод совпадает с классическим. 
	Общая идея рассматриваемого метода проверки гипотез по совокупности малых выборок в том, что подбирается статистика, математическое ожидание которой для каждой малой выборки равно 0 при справедливости проверяемой гипотезы. Затем для каждой выборки строится несмещенная оценка дисперсии этой статистики. Итоговая статистика критерия для проверки гипотезы - это сумма рассматриваемых статистик для всех малых выборок, деленная на квадратный корень из суммы всех несмещенных оценок дисперсий рассматриваемых статистик. При справедливости нулевой гипотезы эта итоговая статистика имеет в асимптотике стандартное нормальное распределение (при выполнении некоторых математических «условий регулярности», которые обычно выполняются при анализе реальных статистических данных).  
	Впервые такой способ проверки гипотез по совокупности малых выборок был предложен в монографии [7, раздел 4.5]. Нестандартность постановки состоит в том, что число неизвестных параметров растет пропорционально объему данных, т.е. имеет место т.н. «асимптотика Колмогорова», или асимптотика растущей размерности. Дальнейшее развитие применительно к данных типа «да» - «нет» (или «годен» - «дефектен») шло в рамках теории люсианов как части статистики объектов нечисловой природы [1]. 

4.5. Проблема множественных проверок статистических гипотез

	Практика применения методов прикладной статистики часто выходит за границы классической математико-статистической теории. В качестве примера рассмотрим множественную проверку статистических гипотез. 
	Базовая теоретическая модель касается проверки одной-единственной статистической гипотезы. На практике же при выполнении того или иного прикладного исследования гипотезы зачастую проверяют неоднократно. При этом, как правило, остается неясным, как влияют результаты предыдущих проверок на характеристики (уровень значимости, мощность) последующих проверок. Есть ли вообще влияние? Как его оценить? Как его учесть при формулировке окончательных выводов?
	Изучены лишь некоторые схемы множественных проверок, например, схема последовательного анализа А. Вальда или схема оценивания степени полинома в регрессии путем последовательной проверки адекватности модели (см. главу 6). В таких исключительных постановках удается рассчитать характеристики статистических процедур, включающих множественные проверки статистических гипотез.
	Однако в большинстве важных для практики случаев статистические свойства процедур анализа данных, основанных на множественных проверках, остаются пока неизвестными. Примерами являются процедуры нахождения информативных подмножеств признаков (коэффициенты для таких и только таких признаков отличны от 0) в регрессионном анализе или выявления отклонений параметров в автоматизированных системах управления. 
	В таких системах происходит слежение за большим числом параметров. Резкое изменение значения параметра свидетельствует об изменении режима работы системы, что, как правило, требует управляющего воздействия. Существует теория для определения границ допустимых колебаний одного или фиксированного числа параметров. Например, можно использовать контрольные карты Шухарта или кумулятивных сумм, а также их многомерные аналоги (см. главу 10 настоящего учебника). В подавляющем большинстве постановок, согласно обычно используемым вероятностным моделям, для каждого параметра, находящемся в стабильном («налаженном») состоянии, существует хотя и малая, но положительная вероятность того, что его значение выйдет за заданные границы. Тогда система зафиксирует резкое изменение значения параметра («ложная разладка»). При достаточно большом числе параметров с вероятностью, близкой к 1, будет обнаружено несколько «случайных сбоев», среди которых могут «затеряться» и реальные отказы подсистем. Можно доказать, что при большом числе параметров имеется два крайних случая - независимых (в совокупности) параметров и функционально связанных  параметров, а для всех остальных систем вероятность обнаружения резкого отклонения хотя бы у одного параметра лежит между соответствующими вероятностями для этих двух крайних случаев.
	Почему трудно изучать статистические процедуры, использующие множественные проверки гипотез? Причина в том, что результаты последовательно проводящихся проверок, как правило, не являются независимыми (в смысле независимости случайных элементов). Более того, последовательность проверок зачастую задается исследователем произвольно.
	Проблема множественных проверок статистических гипотез - часть более общей проблемы «стыковки» (сопряжения, последовательного выполнения) статистических процедур. Дело в том, что каждая процедура может применяться лишь при некоторых условиях, а в результате применения предыдущих процедур эти условия могут нарушаться. Например, часто рекомендуют перед восстановлением зависимости (регрессионным анализом) разбить данные на однородные группы с помощью какого-либо алгоритма классификации, а затем строить зависимости для каждой из выделенных групп отдельно. Здесь идет речь о «стыковке» алгоритмов классификации и регрессии. Как вытекает из рассмотрений статьи [8], попадающие в одну однородную группу результаты наблюдений зависимы и их распределение не является нормальным (гауссовым), поскольку они лежат в ограниченной по некоторым направлениям области, причем границы зависят от всей совокупности результатов наблюдений. При росте объема выборки зависимость уменьшается, но ненормальность остается. Распределение результатов наблюдений, попавших в одну группу, приближается не к нормальному, а к усеченному нормальному. Следовательно, алгоритмами регрессионного анализа, основанными на «нормальной теории», пользоваться некорректно. Целесообразно применять непараметрическую или робастную регрессию.
	Проблема «стыковки» статистических процедур обсуждается давно. По этой проблеме проведен ряд исследований, но окончательных результатов получено не было. По нашему мнению, на скорое решение проблемы «стыковки» рассчитывать нельзя. Возможно, она является столь же «вечной», как и проблема выбора между средним арифметическим и медианой как характеристиками «центра» выборки. 
	Теоретическое исследование является весьма сложным, сколько-нибудь интересные результаты удается получить лишь для отдельных постановок. Поэтому вполне естественно, что многие исследователи применяют метод статистического моделирования на ЭВМ. Однако нельзя забывать о проблеме качества псевдослучайных чисел. Достоинства и недостатки различных алгоритмов получения псевдослучайных чисел много лет обсуждаются в различных изданиях.
	Моделирование мышления статистика-прикладника показывает, насколько мешает устаревшее представление о том, что для проверки гипотез необходимо задавать определенный уровень значимости. Особенно оно мешает, если в дальнейшем понадобятся дальнейшие проверки. Гораздо удобнее использовать «достигаемый уровень значимости», т.е. вероятность того, что статистика критерия покажет большее отклонение от нулевой гипотезы, чем то отклонение, что соответствует имеющимся экспериментальным данным. Если есть желание, можно сравнивать «достигаемый уровень значимости» с заданными значениями 0,05 или 0,01. Так, если «достигаемый уровень значимости» меньше 0,01, то нулевая гипотеза отвергается на уровне значимости 0,01, в противном случае - принимается. Следует рассчитывать «достигаемый уровень значимости» всегда, когда для этого есть вычислительные возможности.
	Переход к «достигаемому уровню значимости» может избавить прикладника от еще одной трудности, связанной с использованием непараметрических критериев. Дело в том, что их распределения, как правило, дискретны, поскольку эти критерии используют только ранги наблюдений. Поэтому обычно невозможно построить критерий с заданным номинальным уровнем значимости - реальный уровень значимости может принимать лишь конечное число значений, среди которых, как правило, нет ни 0,05, ни 0,01, ни других популярных номинальных значений.
	Невозможность построения критических областей критериев с заданными уровнями значимости затрудняет сравнение критериев по мощности, как это продемонстрировано в разделе 5.7 ниже. Есть формальный способ достичь заданного номинального уровня значимости - провести рандомизацию, т.е. при определенном (граничном) значении статистики критерия провести независимый случайный эксперимент, в котором одни исходы (с заданной суммарной вероятностью) приводят к принятию гипотезы, а остальные - к ее отклонению. Однако подобную процедуру рандомизации прикладнику трудно принять - как оправдать то, что одни и те же экспериментальные данные могут быть основанием как для принятия гипотезы, так и для ее отклонения? Вспоминается обложка журнала «Крокодил», на которой один хозяйственник говорит другому: «Бросим монетку. Упадет гербом - будем строить завод, а упадет решкой - нет». Описанная процедура рандомизации имеет практический смысл лишь при массовой рутинной проверке гипотез, например, при статистическом контроле больших выборок изделий или деталей.
	При использовании все еще распространенных критериев Стьюдента, Фишера и других параметрических статистических критериев - свои проблемы. Такие критерии построены исходя из предположения о том, что функции распределения результатов наблюдений входят в определенные параметрические семейства небольшой размерности. Наиболее распространена гипотеза нормальности распределения. Однако давно известно, что подавляющее большинство реальных распределений результатов измерений не являются нормальными. Об этом говорится в классической для инженеров и организаторов производства монографии В.В. Налимова [9], создателя отечественной научной школы в области планирования экспекримента. Ряд недавно полученных конкретных экспериментальных фактов и теоретических соображений, подтверждающих точку зрения В.В. Налимова, рассмотрен в главе 2.1.
	Как же быть? Проверять нормальность распределения своих данных? Но это дело непростое, можно допустить те или иные ошибки, в частности, применяя критерии типа Колмогорова или типа омега-квадрат. Как уже говорилось (в главе 1.2), одна из наиболее распространенных ошибок состоит в том, что в статистики вместо неизвестных параметров подставляют их оценки, но при этом пользуются критическими значениями, рассчитанными для случая, когда параметры полностью известны. Кроме того, для сколько-нибудь надежной проверки нормальности нужны тысячи наблюдений (см. подраздел 2.1). Поэтому в подавляющем большинстве реальных задач нет оснований принимать гипотезу нормальности. В лучшем случае можно говорить о том, что распределение результатов наблюдений мало отличается от нормального.
	Как влияют отклонения от нормальности на свойства статистических процедур? Для разных процедур - разный ответ. Если речь идет об отбраковке выбросов  - влияние отклонений от нормальности настолько велико, что делает процедуру отбраковки с практической точки зрения эвристической, а не научно обоснованной (см. раздел 4.2). Если же речь идет о проверке однородности двух выборок с помощью критерия Стьюдента (при априорном предположении о равенстве дисперсий) или Крамера-Уэлча (при отсутствии такого предположения), то при росте объемов выборок влияние отклонений от нормальности убывает, как это подробно показано в главе 5. Это вытекает из Центральной предельной теоремы. Правда, при этом оказывается, что процентные точки распределения Стьюдента не приносят реальной пользы, достаточно использовать процентные точки предельного нормального распределения. 
	Весьма важна постоянно встающая перед исследователем проблема выбора того или иного статистического критерия для решения конкретной прикладной задачи. Например, как проверять однородность двух независимых выборок числовых результатов наблюдений? Известны параметрические критерии: Стьюдента, Лорда; непараметрические: Крамера-Уэлча, Вилкоксона, Ван-дер-Вардена, Сэвиджа, Мартынова, Смирнова, типа омега-квадрат (Лемана - Розенблатта) и многие другие (см., например, главу 5 и справочник [3]). Какой из них выбрать для конкретных расчетов?
	Некоторые авторы предлагают формировать технологию принятия статистического решения, согласно которой решающее правило формируется на основе комбинации нескольких критериев. Например, технология может предусматривать проведение «голосования»: если из 5 критериев большинство «высказывается» за отклонение гипотезы, то итоговое решение - отвергнуть ее, в противном случае - принять. Однако в таком подходе нет ничего принципиально нового. Просто к уже имеющимся критериям добавляются их комбинации - очередные варианты критериев, тем или иным образом выделяющие критические области в пространствах возможных значений результатов измерений, т.е. попросту увеличивается число рассматриваемых критериев. 
	Итак, имеется некоторая совокупность критериев. У каждого - свой набор значений уровней значимости и мощностей на возможных альтернативах. Математическая статистика демонстрирует в этой ситуации виртуозную математическую технику для анализа частных случаев и полную беспомощность при выдаче практических рекомендаций. Так, оказывается, что практически каждый из известных критериев является оптимальным в том или ином смысле для какого-то набора нулевых гипотез и альтернатив. Математики изучают асимптотическую эффективность в разных смыслах - по Питмену, по Бахадуру и т.д., но - для узкого класса альтернативных гипотез, обычно для альтернативы сдвига. При попытке переноса асимптотических результатов на конечные объемы выборок возникают новые нерешенные проблемы, связанные, в частности, с численным оцениванием скорости сходимости. В целом эта область математической статистики может активно развиваться еще многие десятилетия, выдавая «на гора» превосходные теоремы (которые могут послужить основанием для защит кандидатских и докторских диссертаций, выборов в академики РАН и т.д.), но не давая ничего практике. Хорошо бы, чтобы этот пессимистический прогноз не вполне оправдался!
	С точки зрения прикладной статистики необходимо изучать проблему выбора критерия проверки однородности двух независимых выборок. Такое изучение было проведено, в том числе методом статистических испытаний, и в результате был получен вывод о том, что наиболее целесообразно применять критерий Лемана - Розенблатта типа омега-квадрат (см. главу 5).
	В литературе по прикладным статистическим методам имеется масса ошибочных рекомендаций. Чего стоят хотя бы принципиально неверные государственные стандарты СССР по статистическим методам, а также соответствующие им стандарты СЭВ и ИСО, т.е. Международной организации по стандартизации (о них см. статью [10]). Особо выделяются своим количеством ошибочные рекомендации по применению критерия типа Колмогорова для проверки нормальности. Ошибки есть и в научных статьях, и в нормативных документах (государственных стандартах), и в методических разработках, и даже в вузовских учебниках. К сожалению, нет способа оградить инженера и научного работника, экономиста и менеджера, нуждающихся в применении статистических методов, от литературных источников и нормативно-технических и инструктивно-методических документов с ошибками, неточностями и погрешностями. Единственный способ - либо постоянно поддерживать профессиональные контакты с квалифицированными специалистами по прикладной статистике, либо самому стать таким специалистом. 
	Как оценить достигаемый уровень значимости конкретного критерия, предусматривающего повторные проверки? Сразу ясно, что в большинстве случаев никакая современная теория математической статистики не поможет. Остается использовать современные компьютеры. Методика статистического моделирования может стать ежедневным рабочим инструментом специалиста, занимающегося применением методов анализа данных. Для этого она должна быть реализована в виде соответствующей диалоговой программной системы. Современные персональные компьютеры позволяют проводить статистическое моделирование весьма быстро (за доли секунд). Можно использовать различные модификации бутстрепа - одного  из  вариантов применения статистического моделирования (см. [1]).
	Проведенное обсуждение показывает, как много нерешенных проблем стоит перед специалистом, занимающимся, казалось бы, рутинным применением стандартных статистических процедур.  Теория статистических методов - молодая наука, ее основные проблемы, по нашему мнению, еще не до конца решены. Много работы как в сравнительно новых областях, например, в анализе нечисловых и интервальных данных, так и в классических.

Литература

1. Орлов А.И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.
2. Большев Л.Н. Избранные труды. Теория вероятностей и математическая статистика. – М.: Наука, 1987. – 286 с.
3. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983. - 416 с.
4. Артемьев Б.Г., Голубов С.М. Справочное пособие для работников метрологических служб.- М.: Изд-во стандартов, 1982. - 280 с.
5. Уилкс С. Математическая статистика. - М.: Наука, 1967. - 632 с.
6. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973. - 900 с.
7. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.  
8. Орлов А.И. Некоторые вероятностные вопросы теории классификации // Прикладная статистика. / Ученые записки по статистике, т.45. - М.: Наука, 1983. - С.166-179.
9. Налимов В.В. Применение математической статистики при анализе вещества. - М.: Физматгиз, 1960. - 430 с.
10. Орлов А.И. Сертификация и статистические методы (обобщающая статья). // Заводская лаборатория. - 1997. - Т.63. – №З. - С.55-62.

Контрольные вопросы и задачи

1. Сколько выборочных моментов необходимо использовать для проверки согласия с двухпараметрическим семейством функций распределения?
2. Почему методы отбраковки резко выделяющихся результатов наблюдений, основанные на предположении нормальности, нельзя считать научно обоснованными? 
3. Какую роль играет условие интегрируемости по Риману-Стилтьесу в предельной теории статистик интегрального типа?
4. Как проверяют независимость альтернативных признаков с помощью таблиц 2×2?
5. Как влияет предварительное выделение однородных групп на проведение регрессионного анализа?
6. Как повлияет проверка однородности двух совокупностей (с помощью критерия Лемана – Розенблатта) на последующую оценку дисперсии по объединенной выборке (в случае подтверждения однородности)?

Темы докладов, рефератов, исследовательских работ

1. На основе метода моментов разработайте критерий согласия с семейством экспоненциальных распределений.
2. Методы отбраковки выбросов и их анализ с точки зрения теории устойчивости статистических процедур.
3. С помощью метода аппроксимации ступенчатыми функциями найдите асимптотическое распределение статистики Колмогорова.
4. Статистический приемочный контроль по альтернативным признакам.
5. Асимптотика Колмогорова в задачах прикладной статистики.
6. Проблема «стыковки» алгоритмов в технологиях обработки статистических данных.
7. Статистическая теория множественных проверок гипотез о разладке с помощью независимых датчиков.

Часть 2. Конкретные статистические методы

Глава 5. Статистические методы анализа числовых выборок

	Рассмотрим несколько типовых задач анализа числовых данных, часто встречающихся при применении статистических методов в различных областях научных исследований и отраслях народного хозяйства. В настоящей главе выборка моделируется как  совокупность независимых одинаково распределенных числовых случайных величин.

5.1. Оценивание основных характеристик распределения
 
	Раздел посвящен непараметрическому точечному и интервальному оцениванию характеристик распределения (математического ожидания, медианы, дисперсии, среднего квадратического отклонения, коэффициента вариации) по выборке результатов измерений. Выборочные значения рассматриваются как реализации независимых одинаково распределенных случайных величин с произвольной функцией распределения.
	Существенная часть алгоритмов статистического анализа данных исходит из предположения о нормальности распределения результатов наблюдений. Между тем специально проведенные исследования (сводка дана в главе 2.1) показывают, что распределения погрешностей физических измерений, как правило, отличны от нормальных. Из-за отклонений от нормальности свойства алгоритмов могут в одних случаях измениться сравнительно слабо, как при проверке гипотезы однородности математических ожиданий для выборок равного объема (см. следующий раздел), но иногда изменения таковы, что алгоритмы из научных переходят в эвристические. Например, свойства алгоритмов отбраковки выбросов (резко выделяющихся  наблюдений) крайне неустойчивы по отношению к отклонениям от нормальности: если зафиксировать правило отбраковки, то крайне неустойчив уровень значимости, а если зафиксировать уровень значимости, то крайне неустойчиво критическое значение (см. раздел 4.2). Поэтому Российской академией статистических методов в 1998 г. выдвинута задача изучения влияния отклонения от нормальности на свойства всех практически используемых алгоритмов статистического анализа.   
	Одна из основных задач в области статистических методов – оценивание по выборочным данным характеристик генеральной совокупности, таких, как математическое ожидание, медиана, дисперсия, среднее квадратическое отклонение, коэффициент вариации. Точечные оценки строятся очевидным образом – используют выборочные аналоги теоретических характеристик. Для получения интервальных оценок приходится использовать асимптотическую нормальность выборочных моментов и функций от них.
	Пусть исходные данные – это выборка x1, x2, … , xn, где n – объем выборки. В вероятностной модели выборочные значения x1, x2, … , xn рассматриваются как реализации независимых одинаково распределенных случайных величин X1, X2, … , Xn с общей функцией распределения F(x) = P (Xi < x), i = 1,2, …, n. Поскольку функция распределения произвольна (с точностью до условий регулярности типа существования моментов), то рассматриваемые задачи доверительного оценивания характеристик распределения являются непараметрическими. Существование моментов является скорее математическим ограничением, чем реальным, поскольку практически все реальные статистические данные финитны (т.е. ограничены сверху и снизу, например, шкалой прибора). Для простоты изложения примем это предположение финитности, из которого вытекает существование теоретических моментов любого порядка.
	В расчетах будут использоваться выборочное среднее арифметическое
 = (X1 + X2  +… + Xn) / n,
выборочная дисперсия 
 = {(X1 – )2 + (X2 – )2  +… + (Xn – )2} / (n-1),
выборочное среднее квадратическое отклонение s0 (квадратный корень из выборочной дисперсии) и некоторые другие выборочные характеристики, которые введем позже.
	Точечное и интервальное оценивание математического ожидания. Точечной оценкой для математического ожидания в силу закона больших чисел является выборочное среднее арифметическое . В некоторых случаях могут быть использованы и другие оценки. Например, если известно, что распределение симметрично относительно своего центра, то центр распределения является не только математическим ожиданием, но и медианой, а потому для его оценки можно использовать выборочную медиану.
	Нижняя доверительная граница для математического ожидания имеет вид 
 – U(p) s0 / n1/2 ,
где: p – доверительная вероятность (истинное значение математического ожидания находится между нижней доверительной границей и верхней доверительной границей с вероятностью, асимптотически равной доверительной);
	U(p) – число, заданное равенством Ф(U(p)) = (1+ p)/2, где Ф(х) – функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Например, при p =  95% (т.е. при р = 0,95) имеем U(p) = 1,96. Функция U(p) имеется в большинстве литературных источников по теории вероятностей и математической статистике (см., например, [1]). 
	Верхняя доверительная граница для математического ожидания имеет вид 
 + U(p) s0/ n1/2 .
	Выражения для верхней и нижней доверительных границ получены с помощью центральной предельной теоремы теории вероятностей и теоремы о наследовании сходимости (см. главу 14). Они являются асимптотическими, т.е. становятся тем точнее, чем больше объем выборки. В частности, вероятность попадания истинного значения математического ожидания в интервал между нижней и верхней доверительными границами асимптотически приближается к доверительной вероятности. Но при конечном объеме выборки может незначительно отличаться от нее. Это – недостатки непараметрического подхода. Достоинством же является то, что его можно применять всегда, когда случайная величина имеет математическое ожидание и дисперсию, что в силу финитности (ограниченности шкал) имеет быть практически всегда в реальных ситуациях.
	Сопоставим с параметрическим подходом. Обычно в таких случаях предполагают нормальность результатов наблюдений (которой, как уже было отмечено, практически никогда нет). Тогда формулы нижней и верхней доверительных границ для математического ожидания имеют похожий вид, только вместо U(p) стоят квантили распределения Стьюдента. Как известно, при росте объема выборки квантили распределения Стьюдента сходятся к соответствующим квантилям стандартного нормального распределения, так что при больших объемах выборок оба подхода дают близкие результаты. Классические доверительные интервалы несколько длиннее, поскольку квантили распределения Стьюдента больше квантилей стандартного нормального распределения, хотя это различие и невелико.
	Пример 1. Рассмотрим данные о наработке резцов до отказа, приведенные в табл. 3.2 раздела 3.1. Для них выборочное среднее арифметическое  = 57,88 (это и есть точечная оценка для математического ожидания), выборочная дисперсия  = 663,00, объем выборки n = 50. 
	Следовательно, выборочное среднее квадратическое отклонение s0 =  и согласно приведенным выше формулам при доверительной вероятности р = 0,95 нижняя доверительная граница для математического ожидания такова:
57,88 – 1,96 × 25,75 /  = 57,88 – 7,14 = 50,74,
а верхняя доверительная граница есть 57,88 + 7,14 = 65,02.
	Если заранее известно, что результаты наблюдения имеют нормальное распределение, то нижняя и верхняя доверительная границы для математического ожидания определяются по формулам
 - t(p, n-1) s0 /,  + t(p, n-1) s0 /
соответственно. Эти формулы отличаются от предыдущих тем, что квантиль нормального распределения U(p) заменена на аналогичную квантиль распределения Стьюдента с (n – 1) степенью свободы. Другими словами, t(p, n-1) – это число, заданное равенством STn-1(p) = (1+ p)/2, где STn-1(х) – функция распределения Стьюдента с (n – 1) степенью свободы. 
	Для доверительной вероятности р = 0,95 при объеме выборки n = 50 согласно [1] имеем t(p, n-1) = 2,0096. Следовательно, нижняя доверительная граница для математического ожидания такова:
57,88 – 2,0096 × 25,75 /  = 57,88 – 7,32 = 50,56,
а верхняя доверительная граница есть 57,88 + 7,32 = 65,20. Таким образом, длина доверительного интервала увеличилась с 14,28 до 14,64, т.е. на 2,5%. 
	Cогласно расчетам, проведенным в главе 4.1, рассматриваемые данные согласуются с гамма-распределением, а не с нормальным распределением, поэтому использование распределения Стьюдента для получения доверительных границ некорректно. 
	Иногда рекомендуют сначала проверить нормальность результатов наблюдений, а потом, в случае принятия гипотезы нормальности, рассчитывать доверительные границы с использованием квантилей распределения Стьюдента. Однако проверка нормальности - более сложная статистическая процедура, чем оценивание математического ожидания. Кроме того, применение одной статистической процедуры, как правило, нарушает предпосылки следующей процедуры, в частности, независимость результатов наблюдений (см. раздел 4.5). Поэтому цепочка статистических процедур, следующих друг за другом, как правило, образует статистическую технологию, свойства которой неизвестны на современном уровне развития статистических методов. 
	Итак, только непараметрическую статистическую процедуру следует применять для анализа реальных данных. Как правило, встречающиеся на практике распределения не являются нормальными, а потому использование квантилей распределения Стьюдента неправомерно. 
	Точечное и интервальное оценивание медианы. Точечной оценкой для медианы является выборочная медиана.
	Пример 2. Для данных о наработке резцов до отказа (табл. 3.2 раздела 3.1) объем выборки – четное число, поэтому выборочной медианой является полусумма 25-го и 26-го членов вариационного ряда, т.е. (56 + 56,5)/2 = 56,25.
	Чтобы построить доверительные границы для медианы, по доверительной вероятности р находят U(p). Затем вычисляют натуральное число 
С(р) = [n/2 – U(p)n1/2 /2],
где [.] – знак целой части числа. Нижняя доверительная граница для медианы имеет вид (при C(p) > 1; если p = 0,95 и U(p) = 1,96, то C(p) > 1 при n > 8)
Х(С(р)),
где Х(i) – член с номером i вариационного ряда, построенного по исходной выборке (т.е. i-я порядковая статистика). 
	Верхняя доверительная граница для медианы имеет вид
Х(n + 1 - С(р)).
Теоретическое основание для приведенных доверительных границ содержится в литературе по порядковым статистикам (см., например, монографию [2, с.68]). 
	Пример 3. Для данных о наработке резцов до отказа n = 50. Рассмотрим как обычно, доверительную вероятность р = 0,95. Тогда 
С(р) = [50/2 – 1,96  /2]= [18,07] = 18.
Следовательно, нижней доверительной границей является Х(18) = 47,5, а верхней доверительной границей Х(50 + 1 - 18) = Х(33) = 61,5. 
	Поскольку в случае нормального распределения медиана совпадает с математическим ожиданием, то каких-либо специальных способов ее оценивания в классическом случае нет.
	Точечное и интервальное оценивание дисперсии. Точечной оценкой дисперсии является выборочная дисперсия . Эта оценка - несмещенная и состоятельная. Доверительные границы находятся с помощью величины
d2 = (m4  - ((n – 1) /n ) 4   ) / n ,
где m4  - выборочный четвертый центральный момент, т.е.
m4  =  {(X1 – )4 + (X2 – )4 +… + (X n – )4 } / n .
	Нижняя доверительная граница для дисперсии такова:
 - U(p)d ,
где  – выборочная дисперсия; U(p) – квантиль нормального распределения порядка (1+р)/2, а d – положительный квадратный корень из величины d2, введенной выше.
	Верхняя доверительная граница для дисперсии имеет вид 
 + U(p)d .
	При выводе приведенных соотношений используется асимптотическая нормальность выборочной дисперсии, установленная, например, в монографии [3, с.419]. Соответственно, непараметрический доверительный интервал является  асимптотическим. В классическом случае точечная оценка имеет тот же вид, а вот доверительные границы находят с помощью квантилей распределения хи-квадрат с числом степеней свободы, на 1 меньшим объема выборки. В случае нормального распределения четвертый момент в 3 раза больше квадрата дисперсии, а потому можно оценить d2 как . Это дает быстрый способ для интервальной оценки дисперсии в нормальном случае.
	Пример 4. Для данных о наработке резцов до отказа объем выборки n = 50, выборочная дисперсия  = 663,00, четвертый выборочный момент m4 = 1702050,71. Поэтому
d2 = (1702050,71- ((50 – 1) /50)4 663,002) /50 = 25932,13.
Тогда d = 161,03. Для доверительной вероятности р =0,95 нижняя доверительная граница для дисперсии случайной величины такова:
663,00 – 1,96×161,03 = 663,00 – 315,63 = 347,37,
а верхняя доверительная граница для дисперсии есть 663,00 + 315,63 = 978,63.
	Пример 5. В случае нормального распределения с целью быстрого получения доверительного интервала величина d2 оценивается как
(2) / n = (2 × 663,002) / 50 = 17582,76,
а потому d = 132,6. Для доверительной вероятности  р =0,95 нижняя доверительная граница для дисперсии заменяется на 
663,00 – 1,96×132,6= 663,00 – 259,90 = 403,10,
а верхняя доверительная граница – на 663,00 + 259,90 = 922,9. 
	Сужение границ для дисперсии вполне естественно. Данные о наработке резцов до предельного состояния (т.е. до отказа) соответствуют гамма-распределению, а это распределение является асимметричным, с «тяжелым» правым «хвостом». Последнее означает, что плотность убывает заметно медленнее, чем для нормального распределения. Как следствие, четвертый момент заметно больше, чем для нормального распределения с теми же математическим ожиданием и дисперсией. А потому больше и параметр d. Из проведенных расчетов видно, что использование алгоритмов расчетов, соответствующих нормальному распределению, в ситуации, когда распределение результатов наблюдений существенно отличается от нормального, может привести к заметному искажению выводам.
	Пример 6. В классическом случае нормального распределения исходят из того, что величина (n – 1) /σ2 имеет распределение хи-квадрат с (n – 1) степенью свободы. Для доверительной вероятности р =0,95 следует рассмотреть неравенство
31,555 < (n – 1) /σ2 < 70,222,
справедливое с вероятностью 0,95, поскольку 
F(31,555)= 0,025, F(70,222) = 0,975,
где F(x) – функция хи-квадрат распределения с 49 степенями свободы. Следовательно, нижняя доверительная граница для дисперсии нормально распределенной случайной величины такова:
(n – 1) /70,222 = (49×663,00)/70,222 = 462,63,
а верхняя доверительная граница есть 
(n – 1) /31,555 = (49×663,00)/ 31,555 = 1029,54.
	Полученный доверительный интервал не является симметричным относительно точечной оценки. Нижняя доверительная граница больше, чем в примерах 4 и 5, но и верхняя доверительная граница тоже больше. Несимметричность доверительного интервала в примере 6 приводит к тому, что его трудно сопоставить с симметричными интервалами примеров 4 и 5. Что же касается практических рекомендаций, то они однозначны: обычно нет основания считать, что результаты измерений имеют нормальное распределение, поэтому при анализе реальных данных надо пользоваться непараметрическими методами.
	Точечное и интервальное оценивание среднего квадратического отклонения. Точечной оценкой является выборочное среднее квадратическое отклонение, т.е. неотрицательный квадратный корень из выборочной дисперсии. Дисперсия рассматриваемой случайной величины - выборочного среднего квадратического отклонения s0 – оценивается как дробь
d 2 / (4).
Нижняя доверительная граница для среднего квадратического отклонения  исходной случайной величины имеет вид 
s0 - U(p)d / (2s0) ,
где  – выборочная дисперсия, U(p) – квантиль нормального распределения порядка (1+р)/2, а d – положительный квадратный корень из величины d2, введенной выше при оценивании дисперсии.
	Верхняя доверительная граница для среднего квадратического отклонения исходной случайной величины имеет вид 
s0 + U(p)d / (2s0).
	Пример 7. Для данных о наработке резцов до отказа точечной оценкой для среднего квадратического отклонения является .
	При доверительной вероятности р = 0,95 нижняя доверительная граница такова:
25,75 – 1,96×161,03 / (2×25,75) = 25,75 – 6,13 = 19,62.
Соответственно верхняя доверительная граница симметрична нижней относительно точечной оценки и равна = 25,75 + 6,13 = 31,88.
	Правила интервального оценивания для среднего квадратического отклонения получены из аналогичных правил для оценивания дисперсии с помощью метода линеаризации (см. главу 14). Доверительный интервал - симметричный, непараметрический и асимптотический. 
	Есть и другой способ доверительного оценивания. Поскольку среднее квадратическое отклонение – это квадратный корень их дисперсии, то доверительные границы можно получить, извлекая квадратные корни из одноименных границ для дисперсии.
	Пример 8. Для данных о наработке резцов до отказа при доверительной вероятности р = 0,95 согласно примеру 4 доверительный интервал для дисперсии – это [347,37; 978,63]. Извлекая квадратные корни, получаем доверительный интервал [18,64; 31,28] для среднего квадратического отклонения, соответствующий тому же значению доверительной вероятности. Он не является симметричным относительно точечной оценки. Его длина 12,64 несколько больше длины симметричного доверительного интервала 12,26 в примере 7.   
	Подход, основанный на гипотезе нормальности распределения результатов наблюдения, связан с использованием распределения хи-квадрат и сводится к извлечению квадратных корней из доверительных границ для дисперсии.
	Пример 9. Формально применяя классический подход к данным о наработке резцов до отказа, исходим из доверительного интервала для дисперсии [462,63; 1029,54], соответствующего доверительной вероятности р = 0,95. Извлекая квадратные корни, находим доверительный интервал для среднего квадратического отклонения [21,51; 32,09]. Как и следовало ожидать, длина этого несимметричного интервала 10,58 меньше длины непараметрического доверительного интервала, равной 12,68.
	Точечное и интервальное оценивание коэффициента вариации. Коэффициент вариации V = σ/М(Х) широко используется при анализе конкретных технических, экономических, социологических, медицинских и иных данных (поскольку они, как правило, положительны). Точечной оценкой теоретического коэффициента вариации V является выборочный коэффициент вариации 
Vn = s0 / .
Дисперсия выборочного коэффициента вариации состоятельно оценивается с помощью вспомогательной величины
D2 = (Vn4 - Vn2 / 4 + m4 / (4 2) - m3 / 3) / n,
где  – выборочное среднее арифметическое,   – выборочная дисперсия, 	m3  - выборочный третий центральный момент, т.е.
m3  = {(X1 – )3 + (X2 – )3  +… + (Xn – )3 } / n ,
m4  - выборочный четвертый центральный момент (см. выше), Vn – выборочный коэффициент вариации, n  - объем выборки.
	Нижняя доверительная граница для (теоретического) коэффициента вариации исходной случайной величины имеет вид
Vn  - U(p) D,
где Vn – выборочный коэффициент вариации, U(p) – квантиль нормального распределения порядка (1+р)/2 (как и ранее), D – положительный квадратный корень из величины D2, введенной выше.
	Верхняя доверительная граница для (теоретического) коэффициента вариации исходной случайной величины имеет вид 
Vn  + U(p) D.
	Как и в предыдущих случаях, доверительный интервал - непараметрический и асимптотический. Он получен в результате применения специальной технологии вывода асимптотических соотношений прикладной статистики. Эта технология в качестве первого шага использует многомерную центральную предельную теорему, примененную к сумме векторов, координаты которых – степени исходных случайных величин. Второй шаг – преобразование предельного многомерного нормального вектора с целью получения интересующего исследователя вектора. При этом используются соображения линеаризации и отбрасываются бесконечно малые величины. Третий шаг – строгое обоснование полученных результатов на стандартном для асимптотических математико-статистических рассуждений уровне. При этом обычно приходится использовать необходимые и достаточные условия наследования сходимости (см. главу 14). Именно таким образом получены приведенные выше результаты для выборочного коэффициента вариации. Формулы оказались существенно более сложными, чем в предыдущих случаях. Это объясняется тем, что выборочный коэффициент вариации - функция двух выборочных моментов, а ранее рассматривались либо выборочные моменты поодиночке, либо функция от одного выборочного момента - выборочной дисперсии.
	Пример 10. Для данных о наработке резцов до отказа выборочное среднее арифметическое  = 57,88, выборочная дисперсия  = 663,00, выборочное среднее квадратическое отклонение s0 = 25,75, выборочный третий центральный момент m3 = 14927,91, выборочный четвертый центральный момент m4 = 1702050,71. Следовательно, выборочный коэффициент вариации таков:
Vn = 25,75 / 57,88 = 0,4449.
Рассчитаем значение вспомогательной величины
D2 = ((0,4449)4 – (0,4449)2/4 + 1702050,71/ (4×663,00×(57,88)2) -
- 14927,91/(57,88)3)/50 = (0,0392 – 0,0495 + 0,1916 – 0,0770)/50 =
= 0,1043/50 = 0,002086.
Следовательно, D = 0,04567. При доверительной вероятности р = 0,95 нижняя доверительная граница для теоретического коэффициента вариации имеет вид 
0,4449 – 1,96×0,04567 = 0,4449 – 0,0895 = 0,3554,
а верхняя доверительная граница такова:
0,4449 + 0,0895 = 0,5344.
	Среди классических результатов математической статистики, основанных на гипотезе нормальности результатов наблюдений, нет методов нахождения доверительных границ для коэффициента вариации, поскольку задача построения таких границ не выражается в терминах обычно используемых распределений, например, распределений Стьюдента, Фишера и хи-квадрат.
	Примеры применения доверительных границ для коэффициентов вариации при решении прикладных задач приведены, например, в наших работах, посвященных анализу технических характеристик и показателей качества эластомерных (резинотехнических) материалов и изделий.
	Итак, сформулированы правила непараметрического оценивания обычно используемых характеристик распределения случайной величины. Эти правила основаны на асимптотических результатах теории вероятностей и математической статистики. Использование методов, разработанных в предположении нормальности распределения, может привести к заметно искаженным выводам в ситуации, когда гипотеза нормальности не выполнена. Практические рекомендации таковы: при анализе реальных данных следует использовать непараметрические доверительные границы.

5.2. Методы проверки однородности характеристик 
двух независимых выборок

	В прикладных исследованиях часто необходимо выяснить, различаются ли генеральные совокупности, из которых взяты две независимые выборки. Например, надо выяснить, влияет ли способ упаковки подшипников на их потребительские качества через год после хранения. Или: отличается ли потребительское поведение мужчин и женщин. Если отличается – рекламные ролики и плакаты надо делать отдельно для мужчин и отдельно для женщин. Если нет – рекламная кампания может быть единой. 
	В математико-статистических терминах постановка задачи такова: имеются две выборки x1, x2,...,xm и y1, y2,...,yn (т. е. наборы из m и п действительных чисел), требуется проверить их однородность. Термин «однородность» уточняется ниже. 
	Противоположным понятием является «различие». Можно переформулировать задачу: требуется проверить, есть ли различие между выборками. Если различия нет, то для дальнейшего изучения две рассматриваемые выборки часто объединяют в одну. 
	Например, в маркетинге важно выделить сегменты потребительского рынка. Если установлена однородность двух выборок, то возможно объединение сегментов, из которых они взяты, в один. В дальнейшем это позволит осуществлять по отношению к ним одинаковую маркетинговую политику (проводить одни и те же рекламные мероприятия и т.п.). Если же установлено различие, то поведение потребителей в двух сегментах различно, объединять эти сегменты нельзя, и могут понадобиться различные маркетинговые стратегии, своя для каждого из этих сегментов.
	Традиционный метод проверки однородности (критерий Стьюдента). Для дальнейшего критического разбора опишем традиционный статистический метод проверки однородности. Он широко использовался в течение всего ХХ в. Хотя к настоящему времени этот метод устарел (см. ниже), но продолжает встречаться в учебной литературе, и потому и применяться для анализа конкретных данных. 
	При использовании традиционного метода проверки однородности вычисляют выборочные средние арифметические в каждой выборке
 ,
затем выборочные дисперсии
 ,  
и статистику Стьюдента t, на основе которой принимают решение,
  .    (5.1)
По заданному уровню значимости  и числу степеней свободы (m+n _ 2) из таблиц распределения Стьюдента находят критическое значение tкр. Если |t|>tкр, то гипотезу однородности (отсутствия различия) отклоняют, если же |t|<tкр, то принимают. (При односторонних альтернативных гипотезах вместо условия |t|>tкр проверяют, что t>tкр; эту постановку рассматривать не будем, так как в ней нет принципиальных отличий от обсуждаемой здесь.)
	Рассмотрим условия применимости традиционного метода проверки однородности, основанного на использовании статистики t Стьюдента, а также обсудим современные методы проверки однородности двух выборок.
	Вероятностная модель порождения данных. Для обоснованного применения статистических методов необходимо построить и обосновать вероятностную модель порождения данных. При проверке однородности двух выборок общепринята модель, в которой x1, x2, ..., xm рассматриваются как результаты m независимых наблюдений некоторой случайной величины Х с функцией распределения F(x), неизвестной статистику, а y1, y2, ..., yn - как результаты п независимых наблюдений, вообще говоря, другой случайной величины Y с функцией распределения G(x), также неизвестной статистику. Предполагается также, что наблюдения в одной выборке не зависят от наблюдений в другой, поэтому выборки и называют независимыми.
	Возможность применения модели в конкретной реальной ситуации требует обоснования. Независимость и одинаковая распределенность результатов наблюдений, входящих в выборку, могут быть установлены или исходя из методики проведения конкретных наблюдений, или путем проверки статистических гипотез независимости и одинаковой распределенности с помощью соответствующих критериев [1].
	Если проведено (т+п) измерений объемов продаж в (т+п) торговых точках, то описанную выше модель, как правило, можно применять. Если же, например, xi и yi - объемы продаж одного и того же товара до и после определенного рекламного воздействия, то рассматриваемую модель применять нельзя. В последнем случае используют модель связанных выборок. В ней обычно строят новую выборку zi = xi - yi и используют статистические методы анализа одной выборки, а не двух. Методы проверка однородности для связанных выборок рассматривается в разделах 5.5 и 5.6.
	При дальнейшем изложении принимаем описанную выше вероятностную модель двух выборок.
	Уточнения понятия однородности. Понятие «однородность», т.е. «отсутствие различия», может быть формализовано в терминах вероятностной модели различными способами.
	Наивысшая степень однородности достигается, если обе выборки взяты из одной и той же генеральной совокупности, т. е. справедлива нулевая гипотеза
H0 : F(x)=G(x) при всех х.
Отсутствие однородности означает, что верна альтернативная гипотеза, согласно которой
H1 : F(x0)G(x0) 
хотя бы при одном значении аргумента x0. Если гипотеза H0  принята, то выборки можно объединить в одну, если нет - то нельзя.
	В некоторых случаях целесообразно проверять не совпадение функций распределения, а совпадение некоторых характеристик случайных величин Х и Y - математических ожиданий, медиан, дисперсий, коэффициентов вариации и др. Например, однородность математических ожиданий означает, что справедлива гипотеза
H'0 : M(X)=M(Y),
где M(Х) и M(Y) - математические ожидания случайных величин Х и Y, результаты наблюдений над которыми составляют первую и вторую выборки соответственно. Доказательство различия между выборками в рассматриваемом случае - это доказательство справедливости альтернативной гипотезы  
H'1 : M(X)  M(Y).
	Если гипотеза H0  верна, то и гипотеза H'0 верна, но из справедливости H'0 , вообще говоря, не следует справедливость H0. Математические ожидания могут совпадать для различающихся между собой функций распределения. В частности, если в результате обработки выборочных данных принята гипотеза H'0, то отсюда не следует, что две выборки можно объединить в одну. Однако в ряде ситуаций целесообразна проверка именно гипотезы H'0 . Например, пусть функция спроса на определенный товар или услугу оценивается путем опроса потребителей (первая выборка) или с помощью данных о продажах (вторая выборка). Тогда маркетологу важно проверить гипотезу об отсутствии систематических расхождений результатов этих двух методов, т.е. гипотезу о равенстве математических ожиданий. 
	Другой пример – из производственного менеджмента. Пусть изучается эффективность управления бригадами рабочих на предприятии с помощью двух организационных схем, результаты наблюдения - объем производства на одного члена бригады (производительность), а показатель эффективности организационной схемы - средний (по предприятию) объем производства на одного рабочего. Тогда для сравнения эффективности препаратов достаточно проверить гипотезу H'0 .
	Классические условия применимости критерия Стьюдента. Согласно математико-статистической теории должны быть выполнены два классических условия применимости критерия Стьюдента, основанного на использовании статистики t, заданной формулой (5.1):
	а) результаты наблюдений имеют нормальные распределения:
F(x)=N(x; m1, 12), G(x)=N(x; m2, 22) 
с математическими ожиданиями m1 и m2 и дисперсиями 12 и 22 в первой и во второй выборках соответственно;
	б) дисперсии результатов наблюдений в первой и второй выборках совпадают:
D(X)=12=D(Y)=22.
	Если условия а) и б) выполнены, то нормальные распределения F(x) и G(x) отличаются только математическими ожиданиями, а поэтому обе гипотезы H0  и H'0  сводятся к гипотезе
H»0 : m1=m2, 
а обе альтернативные гипотезы H1 и H'1 сводятся к гипотезе
H»1 : m1m2, .
	Если условия а) и б) выполнены, статистика t при справедливости H»0 имеет распределение Стьюдента с (т + п - 2) степенями свободы. Только в этом случае описанный выше традиционный метод обоснован безупречно. Если хотя бы одно из условий а) и б) не выполнено, то нет никаких оснований считать, что статистика t имеет распределение Стьюдента, поэтому применение традиционного метода, строго говоря, не обосновано. Обсудим возможность проверки этих условий и последствия их нарушений.
	Имеют ли результаты наблюдений нормальное распределение? Как показано в главе 2.1, априори нет оснований предполагать нормальность распределения результатов экономических, технико-экономических, технических, медицинских и иных наблюдений. Следовательно, нормальность надо проверять. Разработано много статистических критериев для проверки нормальности распределения результатов наблюдений [1]. Однако проверка нормальности - более сложная и трудоемкая статистическая процедура, чем проверка однородности (как с помощью статистики t Стьюдента, так и с использованием непараметрических критериев, рассматриваемых ниже).
	Для достаточно надежного установления нормальности требуется весьма большое число наблюдений. В главе 2.1 показано: чтобы гарантировать, что функция распределения результатов наблюдений отличается от некоторой нормальной не более чем на 0,01 (при любом значении аргумента), требуется порядка 2500 наблюдений. В большинстве технических, экономических, медицинских и иных исследований число наблюдений существенно меньше.
	Как уже отмечалось, есть и одна общая причина отклонений от нормальности: любой результат наблюдения записывается конечным (обычно 2-5) количеством цифр, а с математической точки зрения вероятность такого события равна 0. Точнее, для случайной величины с непрерывной плотностью распределения вероятность попадания в счетное множество рациональных чисел равна 0. Следовательно, в статистических методах распределение результатов наблюдений практически всегда более или менее отличается от нормального распределения.  
	Последствия нарушения условия нормальности. Если условие а) не выполнено, то распределение статистики t не является распределением Стьюдента. Однако при справедливости H'0  и условия б) распределение статистики t при росте объемов выборок приближается к стандартному нормальному распределению Ф(х) = N(x; 0, 1). К этому же распределению приближается распределение Стьюдента при возрастании числа степеней свободы. Другими словами, несмотря на нарушение условия нормальности традиционный метод (критерий Стьюдента) можно использовать для проверки гипотезы H'0 при больших объемах выборок. При этом вместо таблиц распределения Стьюдента достаточно пользоваться таблицами стандартного нормального распределения Ф(х).
	Сформулированное в предыдущем абзаце утверждение справедливо для любых функций распределения F(x) и G(x) таких, что M(X) = M(Y), D(X) = D(Y) и выполнены некоторые внутриматематические условия, обычно считающиеся справедливыми в реальных задачах. Если же M(X)  M(Y), то нетрудно вычислить, что при больших объемах выборок
P(t<x)Ф(x-amn), 		 (5.2)
где
. 		(5.3)
Формулы (5.2) - (5.3) позволяют приближенно вычислять мощность t-критерия (точность возрастает при увеличении объемов выборок т и п).
	О проверке условия равенства дисперсий. Иногда условие б) вытекает из методики получения результатов наблюдений, например, когда с помощью одного и того же прибора или методики m раз измеряют характеристику первого объекта и п раз - второго, а параметры распределения погрешностей измерения при этом не меняются. Однако ясно, что в постановках большинства исследовательских и практических задач нет основании априори предполагать равенство дисперсий.
	Целесообразно ли проверять равенство дисперсий статистическими методами, например, как это иногда предлагают, с помощью F-критерия Фишера? Этот критерий основан на нормальности распределений результатов наблюдений. А от нормальности неизбежны отклонения (см. выше). Причем хорошо известно, что в отличие от t-критерия распределение F-критерия Фишера сильно меняется при малых отклонениях от нормальности [3]. Кроме того, F-критерий отвергает гипотезу D(X) = D(Y) лишь при большом различии выборочных дисперсий. Так, для данных [1] о двух группах результатов химических анализов отношение выборочных дисперсий равно 1,95, т.е. существенно отличается от 1. Тем не менее, гипотеза о равенстве теоретических дисперсий принимается на 1%-м уровне значимости. Следовательно, при проверке однородности применение F-критерия для предварительной проверки равенства дисперсий нецелесообразно.
	Итак, в большинстве технических, экономических, медицинских и иных задач условие б) нельзя считать выполненным, а проверять его нецелесообразно.
	Последствия нарушения условия равенства дисперсий. Если объемы выборок т и п велики, можно показать, что распределение статистики t описывается с помощью только математических ожиданий M(Х) и M(Y), дисперсий D(X), D(Y) и отношения объемов выборок, а именно:
P(t<x)Ф(bmnx-amn),		 (5.4)
где amn определено формулой (5.3),
.		(5.5)
	Если bmn  1, то распределение статистики t отличается от распределения, заданного формулой (5.2), полученной в предположении равенства дисперсий. Когда bmn=1? В двух случаях - при m = n и при D(X) = D(Y). Таким образом, при больших и равных объемах выборок требовать выполнения условия б) нет необходимости. Кроме того, ясно, что если объемы выборок мало различаются, то bmn близко к 1. Так, для данных [1] о двух группах результатов химических анализов имеем b*mn= 0,987, где b*mn - оценка bmn , полученная заменой в формуле (5.5) теоретических дисперсий на их выборочные оценки.  
	Область применимости традиционного метода проверки однородности с помощью критерия Стьюдента. Подведем итоги рассмотрения t-критерия. Он позволяет проверять гипотезу H'0 о равенстве математических ожиданий, но не гипотезу H0 о том, что обе выборки взяты из одной и той же генеральной совокупности. Классические условия применимости критерия Стьюдента в подавляющем большинстве технических, экономических, медицинских и иных задач не выполнены. Тем не менее, при больших и примерно равных объемах выборок его можно применять. При конечных объемах выборок традиционный метод носит неустранимо приближенный характер.
	Критерий Крамера-Уэлча равенства математических ожиданий. Вместо критерия Стьюдента целесообразно для проверки H'0  использовать критерий Крамера-Уэлча, основанный на статистике
. 		(5.6)
	Критерий Крамера-Уэлча имеет прозрачный смысл – разность выборочных средних арифметических для двух выборок делится на естественную оценку среднего квадратического отклонения этой разности. Естественность указанной оценки состоит в том, что неизвестные статистику дисперсии заменены их выборочными оценками. Из многомерной центральной предельной теоремы и из теорем о наследовании сходимости (см. главу 14) вытекает, что при росте объемов выборок  распределение статистики Т Крамера-Уэлча сходится к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1. Итак, при справедливости H'0 и больших объемах выборок распределение статистики Т приближается с помощью стандартного нормального распределения Ф(х), из таблиц которого следует брать критические значения.
	При т = п, как следует из формул (5.1) и (5.6), t = T. При т  п этого равенства нет. В частности, при sx2 в (5.1) стоит множитель (m - 1), а в (5.6) - множитель п.
	Если M(X)M(Y), то при больших объемах выборок
P(T<X)Ф(x-cmn),		 (5.7)
где
.		(5.8)
При т = п или D(X) = D(Y), согласно формулам (5.3) и (5.8), amn = cmn , в остальных случаях равенства нет.
	Из асимптотической нормальности статистики Т, формул (5.7) и (5.8) следует, что правило принятия решения для критерия Крамера-Уэлча выглядит так:
-	если |T|<, то гипотеза однородности (равенства) математических ожиданий принимается на уровне значимости 
-	если же |T|>, то гипотеза однородности (равенства) математических ожиданий отклоняется на уровне значимости .
	В прикладной статистике наиболее часто применяется уровень значимости  Тогда значение модуля статистики Т Крамера-Уэлча надо сравнивать с граничным значением  = 1,96.
	Из сказанного выше следует, что применение критерия Крамера-Уэлча не менее обосновано, чем применение критерия Стьюдента. Дополнительное преимущество - не требуется равенства дисперсий D(X)=D(Y). Распределение статистики Т не является распределением Стьюдента, однако и распределение статистики t, как показано выше, не является таковым в реальных ситуациях.
	Распределение статистики Т при объемах выборок т = п = 6, 8, 10, 12 и различных функциях распределений выборок F(x) и G(x) изучено нами совместно с Ю.Э. Камнем и Я.Э. Камнем методом статистических испытаний (Монте-Карло). Рассмотрены различные варианты функций распределения F(x) и G(x). Результаты показывают, что даже при таких небольших объемах выборок точность аппроксимации предельным стандартным нормальным распределением вполне удовлетворительна. Поэтому представляется целесообразным во всех тех случаях, когда в настоящее время используется критерий Стьюдента, заменить его на критерий Крамера-Уэлча. Конечно, такая замена потребует переделки ряда нормативно-технических и методических документов, исправления учебников и учебных пособий для вузов.
	Пример 1. Пусть объем первой выборки  Для второй выборки  Вычислим величину статистики Крамера-Уэлча 

	Поскольку полученное значение по абсолютной величине меньше 1,96, то гипотеза однородности математических ожиданий принимается на уровне значимости 0,05.
	Непараметрические методы проверки однородности. В большинстве технических, экономических, медицинских и иных задач представляет интерес не проверка равенства математических ожиданий или иных характеристик распределения, а обнаружение различия генеральных совокупностей, из которых извлечены выборки, т.е. проверка гипотезы H0. Методы проверки гипотезы H0 позволяют обнаружить не только изменение математического ожидания, но и любые иные изменения функции распределения результатов наблюдений при переходе от одной выборки к другой (увеличение разброса, появление асимметрии и т. д.). Как установлено выше, методы, основанные на использовании статистик t Стьюдента  и Т Крамера-Уэлча, не позволяют проверять гипотезу H0. Априорное предположение о принадлежности функций распределения F(x) и G(x) к какому-либо определенному параметрическому семейству (например, семействам нормальных, логарифмически нормальных, распределений Вейбулла-Гнеденко, гамма-распределений и др.), как также показано выше, обычно нельзя достаточно надежно обосновать. Поэтому для проверки H0 следует использовать методы, пригодные при любом виде F(x) и G(x), т.е. непараметрические методы. (Напомним: термин «непараметрический метод» означает, что при использовании этого метода нет необходимости предполагать, что функции распределения результатов наблюдений принадлежат какому-либо определенному параметрическому семейству.)
	Для проверки гипотезы H0  разработано много непараметрических методов - критерии Смирнова, типа омега-квадрат (Лемана - Розенблатта), Вилкоксона (Манна-Уитни), Ван-дер-Вардена, Сэвиджа, хи-квадрат и др. [1, 2, 4]. Распределения статистик всех этих критериев при справедливости H0 не зависят от конкретного вида совпадающих функций распределения F(x)  G(x). Следовательно, таблицами точных и предельных (при больших объемах выборок) распределений статистик этих критериев и их процентных точек [1, 2] можно пользоваться при любых непрерывных функциях распределения результатов наблюдений.
	Каким из непараметрических критериев пользоваться? Как известно [3], для выбора одного из нескольких критериев необходимо сравнить их мощности, определяемые видом альтернативных гипотез. Сравнению мощностей критериев посвящена обширная литература.
	Хорошо изучены свойства критериев при альтернативной гипотезе сдвига
H1c : G(x) = F(x - d), d  0.
Критерии Вилкоксона, Ван-дер-Вардена и ряд других ориентированы для применения именно в этой ситуации. Если m раз измеряют характеристику одного объекта и п раз - другого, а функция распределения погрешностей измерения произвольна, но не меняется при переходе от объекта к объекту (это более жесткое требование, чем условие равенства дисперсий), то рассмотрение гипотезы H1c оправдано. Однако в большинстве технических, экономических, медицинских и иных исследований нет оснований считать, что функции распределения, соответствующие выборкам, различаются только сдвигом.

5.3. Двухвыборочный критерий Вилкоксона  
 
	Покажем (и это - основной теоретический результат настоящего раздела), что двухвыборочный критерий Вилкоксона (в литературе его называют также критерием Манна-Уитни) предназначен для проверки гипотезы 
H0 :  P(X < Y) = 1/2,
где X - случайная величина, распределенная как элементы первой выборки, а Y - случайная величина, распределенная как элементы второй выборки. 
	В описанной выше вероятностной модели двух независимых выборок без ограничения общности можно считать, что объем первой из них не превосходит объема второй, m < n, в противном случае выборки можно поменять местами.  Обычно предполагается, что функции F(x) и G(x) непрерывны и строго возрастают. Из непрерывности этих функций следует, что с вероятностью 1 все m + n результатов наблюдений различны. При рассмотрении реальных статистических данных иногда наблюдаются совпадения результатов наблюдений, но сам факт их наличия - свидетельство нарушений предпосылок только что описанной базовой математической модели.
	Статистика S двухвыборочного критерия Вилкоксона определяется следующим образом. Все элементы объединенной выборки X1, X2, ..., Xm, Y1, Y2, ..., Yn упорядочиваются в порядке возрастания. Элементы первой выборки X1, X2, ..., Xm занимают в общем вариационном ряду места с номерами R1, R2, ..., Rm, другими словами, имеют ранги R1, R2, ..., Rm. 
	Тогда статистика Вилкоксона - это сумма рангов элементов первой выборки
S = R1 + R2 + ...+ Rm. 
Статистика U Манна-Уитни определяется как число пар (Xi, Yj) таких, что Xi< Yj, среди всех mn пар, в которых первый элемент - из первой выборки, а второй - из второй. Как известно [7, с.160],
U = mn + m(m+1)/2 - S.
Поскольку S и U линейно связаны, то часто говорят не о двух критериях - Вилкоксона и Манна-Уитни, а об одном - критерии Вилкоксона (Манна-Уитни).  
	Критерий Вилкоксона - один из самых известных инструментов непараметрической статистики (наряду с критериями на основе статистик типа Колмогорова-Смирнова, омега-квадрат и коэффициентами ранговой корреляции). Свойствам этого критерия и таблицам его критических значений уделяется место во многих монографиях по математической и прикладной статистике (см., например, [1, 2, 4]).
	Однако в литературе имеются и неточные утверждения относительно возможностей критерия Вилкоксона. Так, одни полагают, что с его помощью можно обнаружить любое различие между функциями распределения F(x) и G(x). По мнению других, этот критерий нацелен на проверку равенства медиан распределений, соответствующих выборкам. И то, и другое, строго говоря, неверно. Это будет ясно из дальнейшего изложения. 
	Введем некоторые обозначения. Пусть F-1(t) - функция, обратная к функции распределения F(x). Она определена на отрезке [0; 1]. Положим L(t) = G(F-1(t)). Поскольку F(x) непрерывна и строго возрастает, то F-1(t) и L(t) обладают теми же свойствами. Важную роль в дальнейшем изложении будет играть величина a = P(X < Y). Как нетрудно показать, 

Введем также параметры

Тогда математические ожидания и дисперсии статистик Вилкоксона и Манна-Уитни согласно [4, с.160] выражаются через введенные величины:
М(U) = mna , М(S) = mn + m(m+1)/2 - М(U) = mn(1 - a) + m(m+1)/2,
D(S) = D(U) = mn [(n - 1) b2  + (m - 1) g2 + a(1 -a)].	 (5.9)  
	Когда объемы обеих выборок безгранично растут, распределения статистик Вилкоксона и Манна-Уитни являются асимптотически нормальными (см., например, [4, гл. 5 и 6]) с параметрами, задаваемыми формулами (5.9).
	Если выборки полностью однородны, т.е. их функции распределения совпадают, справедлива гипотеза
H0:   F(x) = G(x) при всех x,		(5.10)
то L(t) = t для t из отрезка [0, 1], L(t)= 0 для всех отрицательных t и L(t)= 1 для t > 1, соответственно a= 1/2. Подставляя в формулы (5.9), получаем, что
М(S) =  m(m+n+1)/2,   D(S) =  mn(m+n+1)/12.		(5.11)
Следовательно, распределение нормированной и центрированной статистики Вилкоксона
T = (S - m(m+n+1)/2) (mn(m+n+1)/12)-1/2		(5.12) 
при росте объемов выборок приближается к стандартному нормальному распределению (с математическим ожиданием 0 и дисперсией 1). 
	Из асимптотической нормальности статистики Т следует, что правило принятия решения для критерия Вилкоксона выглядит так:
	- если |T| < , то гипотеза (5.10) однородности (тождества) функций распределений принимается на уровне значимости 
	- если же |T| > , то гипотеза (5.10) однородности (тождества) функций распределений отклоняется на уровне значимости .
	В прикладной статистике наиболее часто применяется уровень значимости  Тогда значение модуля статистики Т Вилкоксона надо сравнивать с граничным значением=1,96.
	Пример 1. Пусть даны две выборки. Первая содержит m = 12 элементов 17; 22; 3; 5; 15; 2; 0; 7; 13; 97; 66; 14. Вторая содержит n=14 элементов 47; 30; 2; 15; 1; 21; 25; 7; 44; 29; 33; 11; 6; 15. Проведем проверку однородности функций распределения двух выборок с помощью критерия Вилкоксона.
	Первым шагом является построение общего вариационного ряда для элементов двух выборок (табл. 5.1).

Таблица 5.1 
Общий вариационный ряд для элементов двух выборок
Ранги	1	2	3,5	3,5	5	6	7	8,5	8,5	10	11	12	14	
Элементы выборок	0	1	2	2	3	5	6	7	7	11	13	14	15	
Номера выборок	1	2	1	2	1	1	2	1	2	2	1	1	1	
Ранги	14	14	16	17	18	19	20	21	22	23	24	25	26	
Элементы выборок	15	15	17	21	22	25	29	30	33	44	47	66	97	
Номера выборок	2	2	1	2	1	2	2	2	2	2	2	1	1	

	Хотя с точки зрения теории математической статистики вероятность совпадения двух элементов выборок равна 0, в реальных выборках статистических данных совпадения встречаются. Так, в рассматриваемых выборках, как видно из табл. 5.1, два раза повторяется величина 2, два раза - величина 7 и три раза - величина 15. В таких случаях говорят о наличии «связанных рангов», а соответствующим совпадающим величинам приписывают среднее арифметическое тех рангов, которые они занимают. Так, величины 2 и 2 занимают в объединенной выборке места 3 и 4, поэтому им приписывается ранг (3+4)/2=3,5. Величины 7 и 7 занимают в объединенной выборке места 8 и 9, поэтому им приписывается ранг (8+9)/2=8,5. Величины 15, 15 и 15 занимают в объединенной выборке места 13, 14 и 15, поэтому им приписывается ранг (13+14+15)/3=14.
	Следующий шаг - подсчет значения статистики Вилкоксона, т.е. суммы рангов элементов первой выборки
S = R1 + R2 + ...+ Rm = 1+3,5+5+6+8,5+11+12+14+16+18+25+26=146.
Подсчитаем также сумму рангов элементов второй выборки
S1 = 2+3,5+7+8,5+10+14+14+17+19+20+21+22+23+24= 205.
Величина S1 может быть использована для контроля вычислений. Дело в том, что суммы рангов элементов первой выборки S  и второй выборки S1  вместе составляют сумму рангов объединенной выборки, т.е. сумму всех натуральных чисел от 1 до m+n. Следовательно,
S+ S1 = (m+n)(m+n+1)/2= (12+14)(12+14+1)/2= 351.
В соответствии с ранее проведенными расчетами S+S1 = 146+205=351. Необходимое условие правильности расчетов выполнено. Ясно, что справедливость этого условия не гарантирует правильности расчетов.
	Перейдем к расчету статистики Т. Согласно формуле (5.11)
М(S) = 12(12+14+1)/ 2 = 162, D(S) = 12.14(12+14+1) / 12= 378.
Следовательно, 
T = (S - 162) (378)-1/2 = (146-162) / 19,44 = - 0,82.
Поскольку |T| < 1,96, то гипотеза однородности принимается на уровне значимости 0,05.
	Что будет, если поменять выборки местами, вторую назвать первой? Тогда вместо S надо рассматривать S1. Имеем 
М(S1) = 14(12+14+1)/2 = 189, D(S) = D(S1) = 378,
T1 = (S1 - 189) (378)-1/2 = (205-162) / 19,44 = 0,82.
Таким образом, значения статистики критерия отличаются только знаком (можно показать, что это утверждение верно всегда). Поскольку в правиле принятия решения используется только абсолютная величина статистики, то принимаемое решение не зависит от того, какую выборку считаем первой, а какую второй. Для уменьшения объема таблиц критических значений принято считать первой выборку меньшего объема. 
	Продолжим обсуждение критерия Вилкоксона. Правила принятия решений и таблицы критических значений для критерия Вилкоксона строятся в предположении справедливости гипотезы полной однородности, описываемой формулой (5.10). А что будет, если эта гипотеза неверна? Другими словами, какова мощность критерия Вилкоксона?
	Пусть объемы выборок достаточно велики, так что можно пользоваться асимптотической нормальностью статистики Вилкоксона. Тогда в соответствии с формулами (5.9) статистика T будет асимптотически нормальна с параметрами
М(T) = (12mn)1/2 (1/2 - a) (m+n+1)-1/2 ,
D(T) = 12 [(n - 1) b2 + (m - 1) g2 + a(1 -a)] (m+n+1)-1.	  (5.13) 
 	Из формул (5.13) видно большое значение гипотезы
H01: a = P(X < Y) = 1/2. 	(5.14)
Если эта гипотеза неверна, то, поскольку m < n, справедлива оценка 
 |M(T)| > (12m n (2n+1)-1)1/2 |1/2 - a|,
а потому |M(T)| безгранично растет при росте объемов выборок. В то же время, поскольку

то 
D(T) < 12 [(n - 1) + (m - 1) + 1/4] (m+n+1)-1 < 12. 	 (5.15) 
Следовательно, вероятность отклонения гипотезы H01, когда она неверна, т.е. мощность критерия Вилкоксона как критерия проверки гипотезы (5.14), стремится к 1 при возрастании объемов выборок, т.е. критерий Вилкоксона является состоятельным для этой гипотезы при альтернативе
АH01 : a = P(X < Y)  1/2. 	 (5.16)
	Если же гипотеза (5.14) верна, то статистика T асимптотически нормальна с математическим ожиданием 0 и дисперсией, определяемой формулой 
D(T) = 12[(n - 1)b2  + (m - 1)g2 + 1/4](m+n+1)-1.  (5.17) 
Гипотеза (5.14) является сложной, дисперсия (5.17), как показывают приводимые ниже примеры, в зависимости от значений b2 и g2 может быть как больше 1, так и меньше 1, но согласно неравенству (5.15) никогда не превосходит 12. 
	Приведем пример двух функций распределения F(x) и G(x) таких, что гипотеза (5.14) выполнена, а гипотеза (5.10) - нет. Поскольку
a = P(X < Y) = ,  1 - a = P(Y < X) = 	(5.18) 
и a = 1/2 в случае справедливости гипотезы (5.10), то для выполнения условия (5.14) необходимо и достаточно, чтобы
,		(5.19) 
а потому естественно в качестве F(x) рассмотреть функцию равномерного распределения на интервале (-1; 1). Тогда формула (5.19) переходит в условие
 
Это условие выполняется, если функция (G(x) - (x + 1)/2) является нечетной. 
	Пример 2. Пусть функции распределения F(x) и G(x) сосредоточены на интервале (-1; 1), на котором
 F(x) = (x + 1)/2, G(x) = (x + 1 + 1/ sinx)/2.
Тогда
x=F-1(t)=2t-1, L(t)=G(F-1(t))=(2t+1/sin(2t-1))/2=t+1/2sin(2t-1).
Условие (5.19) выполнено, поскольку функция (G(x) - (x + 1)/2) является нечетной. Следовательно, a = 1/2. Начнем с вычисления 
g2 =  - 1/4 = 
Поскольку 

то

С помощью замены переменных t = (x +1) / 2 получаем, что 

В правой части последнего равенства стоят табличные интегралы (см., например, справочник [5, с.71]). Проведя соответствующие вычисления, получаем, что в правой части стоит 
1/8 (-4/2) = -1/(22).
Следовательно,
g2 = 1/12 - 1/(22) = 0,032672733...
	Перейдем к вычислению b2. Поскольку

то

С помощью замены переменных t = (x+1)/2 переходим к табличным интегралам (см., например, справочник [5, с.65]):

Проведя необходимые вычисления, получим, что

	Следовательно, для рассматриваемых функций распределения нормированная и центрированная статистика Вилкоксона (см. формулу (5.12)) асимптотически нормальна с математическим ожиданием 0 и дисперсией (см. формулу (5.17))
D(T) = (0,544 n + 0,392 m + 2,064) (m+n+1)-1.   
Как легко видеть, дисперсия всегда меньше 1. Это значит, что в рассматриваемом случае гипотеза полной однородности (5.10) при проверке с помощью критерия Вилкоксона будет приниматься чаще, чем если она на самом деле верна. 
	На наш взгляд, это означает, что критерий Вилкоксона нельзя считать критерием для проверки гипотезы (5.10) при альтернативе общего вида. Он не всегда позволяет проверить однородность - не при всех альтернативах. Точно так же критерии типа хи-квадрат нельзя считать критериями проверки гипотез согласия и однородности - они позволяют обнаружить не все различия, поскольку некоторые из них «скрадывает» группировка. 
	Обсудим теперь, действительно ли критерий Вилкоксона нацелен на проверку равенства медиан распределений, соответствующих выборкам. 
	Пример 3. Построим семейство пар функций распределения F(x) и G(x) таких, что их медианы различны, но для F(x) и G(x) выполнена гипотеза (5.14). Пусть распределения сосредоточены на интервале (0; 1), и на нем G(x) = x , а F(x) имеет кусочно-линейный график с вершинами в точках (0; 0), (; 1/2), (; 3/4), (1; 1). Следовательно, 
F(x) = 0 при x < 0;
F(x) = x/(2) на [0; );
F(x) = 1/2 + (x - )/(4 - 4) на [; );
F(x) = 3/4 + (x - )/(4 - 4) на [; 1];
F(x) = 1 при x > 1.
Очевидно, что медиана F(x) равна , а медиана G(x) равна 1/2 .
	Согласно соотношению (5.17) для выполнения гипотезы (5.14) достаточно определить  как функцию , т.е.  = (), из условия 

Вычисления дают 
 = () = 3(1 - )/2.
 Учитывая, что  лежит между  и 1, не совпадая ни с тем, ни с другим, получаем ограничения на , а именно, 1/3 <  < 3/5 . Итак, построено искомое семейство пар функций распределения. 
	Пример 4. Пусть, как и в примере 3, распределения сосредоточены на интервале (0; 1), и на нем F(x)=x. А G(x) - функция распределения, сосредоточенного в двух точках -  и 1. Т.е. G(x) = 0 при x, не превосходящем ; G(x) = h на (; 1]; G(x) = 1 при x > 1. С такой функцией G(x) легко проводить расчеты. Однако она не удовлетворяет принятым выше условиям непрерывности и строгого возрастания. Вместе с тем легко видеть, что она является предельной (сходимость в каждой точке отрезка [0; 1]) для последовательности функций распределения, удовлетворяющих этим условиям. А распределение статистики Вилкоксона для пары функций распределения примера 4 является предельным для последовательности соответствующих распределений статистики Вилкоксона, полученных в рассматриваемых условиях непрерывности и строгого возрастания.
	Условие P(X < Y) = 1/2 выполнено, если h = (1 -)-1/2 (при  из отрезка [0; 1/2]). Поскольку h > 1/2 при положительном , то очевидно, что медиана G(x) равна , в то время как медиана F(x) равна 1/2 . Значит, при  = 1/2 медианы совпадают, при всех иных положительных  - различны. При  = 0 медианой G(x) является любая точка из отрезка [0; 1].
	Легко подсчитать, что в условиях примера 4 параметры предельного распределения имеют вид
b2 = (1- )-1/4 , g2 = (1- 2)/4.
Следовательно, распределение нормированной и центрированной статистики Вилкоксона будет асимптотически нормальным с математическим ожиданием 0 и дисперсией
D(T) = 3 [(n-1) (1- )-1 + (m-1) (1-2) + 1] (m+n+1)-1.   
	Проанализируем величину D(T) в зависимости от параметра  и объемов выборок m и n. При достаточно больших m и n
D(T) = 3w(1 - )-1 + 3(1 - w)(1 - 2)
с точностью до величин порядка (m+n)-1, где w= n/(m+n). Значит, D(T) - линейная функция от w, а потому достигает экстремальных значений на границах интервала изменения w, т.е. при w = 0 и w = 1. Легко видеть, что при (1-)-1 <1-2 минимум равен 3(1-)-1 (при w = 1), а максимум равен 3(1 - 2) (при w = 0). В случае (1-)-1 >1-2 максимум равен 3(1-)-1 (при w = 1), а минимум равен 3(1 - 2) (при w = 0). Если же (1-)-1 =1-2 (это равенство справедливо при =0 = 1 - 2-1/2 = 0,293), то D(T) = 3(21/2-1) = 1,2426... при всех w из отрезка [0; 1]. 
	Первый из описанных выше случаев имеет быть при  < 0. При этом минимум D(T) возрастает от 0 (при =0, w=1 - предельный случай) до 3(21/2 - 1) (при =0, w - любом), а максимум уменьшается от 3 (при =0, w=0 - предельный случай) до 3 (21/2 - 1) (при =0, w - любом). Второй случай относится к  из интервала (0; 1/2]. При этом минимум убывает от приведенного выше значения для =0 до 0 (при =1/2, w=0 - предельный случай) , а максимум возрастает от того же значения при =0 до 3 (при =1/2 , w=0).
	Таким образом, D(T) может принимать все значения из интервала (0; 3) в зависимости от значений  и w. Если D(T) < 1, то при применении критерия Вилкоксона к выборкам с рассматриваемыми функциями распределения гипотеза однородности (5.10) будет приниматься чаще (при соответствующих значениях  и w - с вероятностью, сколь угодно близкой к 1), чем если бы она самом деле была верна. Если 1 < D(T) < 3, то гипотеза (5.10) также принимается достаточно часто. Так, если уровень значимости критерия Вилкоксона равен 0,05, то (асимптотическая) критическая область этого критерия, как показано выше, имеет вид {T: |T| > 1,96}. Если - самый плохой случай - D(T) = 3, то гипотеза (5.10) принимается с вероятностью 0,7422.
	Гипотеза сдвига. При проверке гипотезы однородности мы рассмотрели различные виды нулевых и альтернативных гипотез - гипотезу (5.10) и ее отрицание в качестве альтернативы, гипотезу (5.14) и ее отрицание, гипотезы о равенстве или различии медиан. В теоретических работах по математической статистике часто рассматривают гипотезу сдвига, в которой альтернативой гипотезе (5.10) является гипотеза 
H1:  F(x) = G(x + r) 		(5.20)
при всех x и некотором сдвиге r, отличным от 0. Если верна альтернативная гипотеза H1, то вероятность P(X < Y) отлична от 1/2, а потому при альтернативе (5.20) критерий Вилкоксона является состоятельным. 
	В некоторых прикладных постановках гипотеза (5.20) представляется естественной. Например, если одним и тем же прибором проводятся две серии измерений двух значений некоторой величины (физической, химической и т.п.). При этом функция распределения G(x) описывает погрешности измерения одного значения, а G(x+r) - другого. Вопреки распространенному заблуждению, хорошо известно, что распределение погрешностей измерений, как правило, не является нормальным (см. об этом главу 2.1). 
	Однако при анализе конкретных социально-экономических данных и статистических данных из других предметных областей, как правило, нет никаких оснований считать, что отсутствие однородности всегда выражается столь однозначным образом, как следует из формулы (5.20). Поэтому для проверки однородности необходимо использовать статистические критерии, состоятельные против любого отклонения от гипотезы однородности (5.10).
	Математики любят гипотезу сдвига (5.20) потому, что она дает возможность доказывать глубокие математические результаты, например, об асимптотической оптимальности критериев. К сожалению, с точки зрения теории статистики это напоминает поиск ключей под фонарем, где светло, а не в кустах, где они потеряны. 
	Отметим еще одно обстоятельство. Часто говорят (в соответствии с классическим подходом математической статистики), что нельзя проверять нулевые гипотезы без рассмотрения альтернативных. Однако при анализе данных, полученных в ходе технических, экономических, медицинских или иных исследований, зачастую полностью ясна формулировка той гипотезы, которую желательно проверить (например, гипотезы полной однородности - см. формулу (5.10)), в то время как формулировка альтернативной гипотезы не очевидна. То ли это гипотеза о неверности равенства (5.10) хотя бы для одного значения x, то ли это альтернатива (5.16), то ли - альтернатива сдвига (5.20), и т. д. В таких случаях целесообразно «обернуть» задачу - исходя из статистического критерия найти альтернативы, относительно которых он состоятелен. Именно это и проделано в настоящем разделе для критерия Вилкоксона.  
	Подведем итоги рассмотрения критерия Вилкоксона.  
	1. Критерий Вилкоксона (Манна-Уитни) - один из самых распространенных непараметрических ранговых критериев, используемых для проверки однородности двух выборок. Его значение не меняется при любом монотонном преобразовании шкалы измерения (т.е. он пригоден для статистического анализа данных, измеренных в порядковой шкале).
	2. Распределение статистики критерия Вилкоксона определяется функциями распределения F(x) и G(x) и объемами m и n двух выборок. При больших объемах выборок распределение статистики Вилкоксона является асимптотически нормальным с параметрами, выписанными выше (см. формулы (5.9), (5.11) и (5.13)). 
	3. При альтернативной гипотезе, когда функции распределения выборок F(x) и G(x) не совпадают, распределение статистики Вилкоксона зависит от величины a = P(X < Y). Если a отличается от 1/2, то мощность критерия Вилкоксона стремится к 1, и он отличает нулевую гипотезу F = G от альтернативной. Если же a = 1/2, то это не всегда имеет место. В примере 2 приведены две различные функции распределения выборок F(x) и G(x) такие, что гипотеза однородности F  G при проверке с помощью критерия Вилкоксона будет приниматься чаще, чем если бы она на самом деле была верна. 
	4. Следовательно, в случае общей альтернативы критерий Вилкоксона не является состоятельным, т.е. не всегда позволяет обнаружить различие функций распределения. Однако это не лишает его практической ценности, точно так же, как несостоятельность критериев типа хи-квадрат при проверке согласия, независимости или однородности не мешает отклонять нулевую гипотезу во многих практически важных случаях. Однако принятие нулевой гипотезы с помощью критерия Вилкоксона может означать не совпадение F и G, а лишь выполнение равенства a = 1/2.
	5. Иногда утверждают, что с помощью критерия Вилкоксона можно проверять равенство медиан функций распределения F и G. Это не так. В примерах 3 и 4 указаны функции распределения F и G с a = 1/2, но с различными медианами. Во многих случаях это различие нельзя обнаружить с помощью критерия Вилкоксона, как это показано при численном анализе асимптотической дисперсии в примере 4. 
	6. Указанные выше недостатки критерия Вилкоксона исчезают для специального вида альтернативы - т.н. «альтернативы сдвига» H1: F(x) = G(x + r). В этом частном случае при справедливости альтернативной гипотезы мощность стремится к 1, различие медиан также всегда обнаруживается. Однако альтернатива сдвига не всегда естественна. Ее целесообразно принять, если одним и тем же прибором проводятся две серии измерений двух значений некоторой величины (физической, химической и т.п.). При этом функция распределения G(x) описывает результаты измерений (с погрешностями) одного значения, а F(x) = G(x+r) - другого. Другими словами, меняется лишь измеряемое значение, а собственно распределение погрешностей - одно и то же, присущее используемому средству измерения (и обычно описанное в его техническом паспорте). Однако в большинстве прикладных статистических исследований нет никаких оснований считать, что при альтернативе функция распределения второй выборки лишь сдвигается, но не меняется каким-либо иным образом. 
	7. При всех своих недостатках критерий Вилкоксона прост в применении и часто позволяет обнаруживать различие групп (поскольку оно часто сводится к отличию a = P(X < Y) от 1/2 ). Приведенные здесь критические замечания не следует понимать как призыв к полному отказу от использования критерия Вилкоксона. Однако для проверки гипотезы однородности в случае альтернативы общего вида можно порекомендовать состоятельные критерии, в частности, рассматриваемые в следующем разделе критерии Смирнова и типа омега-квадрат (Лемана-Розенблатта).
	8. В литературе по прикладным статистическим методам соседствуют два стиля изложения. Один из них исходит из формулировок нулевой и альтернативных гипотез (или описания набора гипотез, из которого надо выбрать наиболее адекватную), для проверки которых строятся те или иные критерии. При другом стиле изложения упор делается на алгоритмическое описание критериев для проверки тех или иных нулевых гипотез, а об альтернативах даже не упоминается. 
	Например, в литературе по математической статистике часто говорится, что для проверки нормальности используются критерии асимметрии и эксцесса (они описаны, например, в главе 2.3 и в лучшем справочнике 1960-1980-х годов [1, табл. 4.7]). Однако эти критерии позволяют проверять некоторые соотношения между моментами распределения, но отнюдь не являются состоятельными критериями нормальности (не все отклонения от нормальности обнаруживают). Впрочем, для прикладной статистики эти критерии большого практического значения не имеют, поскольку заранее известно, что распределения конкретных технических, экономических, медицинских и иных статистических данных скорее всего отличны от нормальных.
	Недостатки критерия Вилкоксона не являются исключением. Мощность ряда иных популярных в математической статистике критериев заслуживает тщательного изучения. При этом заранее можно сказать, что зачастую они не позволяют проверять те гипотезы, с которыми традиционно связаны. При применении подобных критериев к анализу реальных данных необходимо тщательно взвешивать их достоинства и недостатки.
 
5.4. Состоятельные критерии проверки однородности 
независимых выборок
 
	В соответствии с методологией статистических методов естественно потребовать, чтобы рекомендуемый для массового использования в технических, экономических, медицинских и иных исследованиях критерий однородности был состоятельным. Напомним: это значит, что для любых отличных друг от друга функций распределения F(x) и G(x) (другими словами, при справедливости альтернативной гипотезы H1) вероятность отклонения гипотезы H0 должна стремиться к 1 при увеличении объемов выборок т и п. Из перечисленных выше (в конце раздела 5.2) критериев однородности состоятельными являются только критерии Смирнова и типа омега-квадрат. 
	Проведенное в Институте высоких статистических технологий и эконометрики исследование мощности (методом статистических испытаний) первых четырех из перечисленных выше критериев (при различных вариантах функций распределения F(x) и G(x)) подтвердило преимущество критериев Смирнова и омега-квадрат и при объемах выборок 6-12. Рассмотрим эти критерии подробнее.
	Критерий Смирнова однородности двух независимых выборок. Он предложен членом-корреспондентом АН СССР Н.В. Смирновым в 1939 г. (см. справочник [1]). Единственное ограничение - функции распределения F(x) и G(x) должны быть непрерывными. Согласно Л.Н. Большеву и Н.В. Смирнову [1], значение эмпирической функции распределения в точке х равно доле результатов наблюдений в выборке, меньших х. Критерий Смирнова основан на использовании эмпирических функций распределения Fm(x) и Gn(x), построенных по первой и второй выборкам соответственно. Значение статистики Смирнова

сравнивают с соответствующим критическим значением (см., например, [1]) и по результатам сравнения принимают или отклоняют гипотезу Н0 о совпадении (однородности) функций распределения. Практически значение статистики Dm,п рекомендуется согласно монографии [1] вычислять по формулам
,
,
,
где x'1 < x'2 < … < x'm - элементы первой выборки x1, x2, …, xm, переставленные в порядке возрастания, а y'1 <y'2 < … < y'n - элементы второй выборки y1, y2, …, yn, также переставленные в порядке возрастания. Поскольку функции распределения F(x) и G(x) предполагаются непрерывными, то вероятность совпадения каких-либо выборочных значений равна 0.
	Разработаны алгоритмы и программы для ЭВМ, позволяющие рассчитывать точные распределения, процентные точки и достигаемый уровень значимости для двухвыборочной статистики Смирнова , разработаны подробные таблицы (см., например, методику Института высоких статистических технологий и эконометрики  МГТУ им. Н.Э. Баумана, содержащую описание алгоритмов, тексты программ и подробные таблицы).
	Однако у критерия Смирнова есть и недостатки. Его распределение сосредоточено в сравнительно небольшом числе точек, поэтому функция распределения растет большими скачками. В результате не удается выдержать заданный уровень значимости. Реальный уровень значимости может в несколько раз отличаться от номинального (подробному обсуждению неклассического феномена существенного отличия реального уровня значимости от номинального посвящен раздел 5.7 ниже).
	Критерий типа омега-квадрат (Лемана-Розенблатта). Статистика критерия типа омега-квадрат для проверки однородности двух независимых выборок имеет вид:
A = Fm(x) – Gn(x))2 dHm+n(x) ,
где Hm+n(x) – эмпирическая функция распределения, построенная по объединенной выборке. Легко видеть, что
Hm+n(x) = Fm(x) + Gn(x).
	Статистика A типа омега-квадрат предложена Э. Леманом в 1951 г., изучена М. Розенблаттом в 1952 г., а затем и другими исследователями. Она зависит лишь от рангов элементов двух выборок в объединенной выборке. Пусть  - первая выборка,  - соответствующий вариационный ряд,  - вторая выборка,  - вариационный ряд, соответствующий второй выборке. Поскольку функции распределения независимых выборок непрерывны, то с вероятностью 1 все выборочные значения различны, совпадения отсутствуют. Статистика А представляется в виде (см., например, [1]):

где ri - ранг x'i и sj  - ранг y'j  в общем вариационном ряду, построенном по объединенной выборке. 
	Правила принятия решений при проверке однородности двух выборок на основе статистик Смирнова и типа омега-квадрат, т.е. таблицы критических значений в зависимости от уровней значимости и объемов значимости приведены, например, в таблицах [1]. 
	Рекомендации по выбору критерия однородности. Для критерия типа омега-квадрат нет выраженного эффекта различия между номинальными и реальными уровнями значимости. Поэтому мы рекомендуем для проверки однородности функций распределения (гипотеза H0) применять статистику А типа омега-квадрат. Если методическое, табличное или программное обеспечение для статистики Лемана - Розенблатта отсутствует, рекомендуем использовать критерий Смирнова. Для проверки однородности математических ожиданий (гипотеза H'0) целесообразно применять критерий Крамера-Уэлча. По нашему мнению, статистики Стьюдента, Вилкоксона и другие допустимо использовать лишь в отдельных частных случаях, рассмотренных выше.
	Некоторые соображения о внедрении современных методов прикладной статистики в практику технических, экономических, медицинских и иных исследований. Даже из проведенного выше разбора лишь одной из типичных статистических задач - задачи проверки однородности двух независимых выборок - можно сделать вывод о целесообразности широкого развертывания работ по критическому анализу сложившейся практики статистической обработки данных и по внедрению накопленного арсенала современных методов прикладной статистики. Широкого внедрения заслуживают методы многомерного статистического анализа, планирования эксперимента, статистики объектов нечисловой природы. Очевидно, рассматриваемые работы должны быть плановыми, организационно оформленными, проводиться мощными самостоятельными организациями и подразделениями. Целесообразно создание службы статистических консультаций в системе научно-исследовательских учреждений и вузов технического, управленческого, экономического, медицинского профиля.

5.5. Методы проверки однородности связанных выборок
 
	Начнем с практического примера. Приведем письмо главного инженера подмосковного химического комбината (некоторые названия изменены).

«Директору Института высоких статистических технологий 
и эконометрики (Фамилия, имя, отчество)

	Наш комбинат выпускает мастику по ГОСТ (следует номер) и является разработчиком указанного стандарта. 
	В результате исследовательских работ по подбору стандартного метода определения вязкости мастики на комбинате накоплен большой опыт сравнительных данных определения вязкости по двум методам:
	- неразбавленной мастики - на нестандартном приборе фабрики им. А.А. Петрова;
	- раствора мастики - на стандартном вискозиметре ВЗ-4.
	Учитывая высокую компетентность сотрудников Вашего института, прошу Вас, в порядке оказания технической помощи нашему предприятию, поручить соответствующей лаборатории провести обработку представленных данных современными статистическими методами и выдать заключение о наличии (или отсутствии) зависимости между указанными выше методами определения вязкости мастики. Ваше заключение необходимо для решения спорного вопроса о целесообразности вновь ввести в ГОСТ (следует номер) метода определения вязкости мастики по вискозиметру ВЗ-4, который, по мнению некоторых потребителей, был необоснованно исключен из этого ГОСТ по изменению № 1.
	Заранее благодарю Вас за оказанную помощь.
	
	Приложение: статистика на 3 листах.
	
	Главный инженер (Подпись) (Фамилия, имя, отчество)»

	Комментарий. Вязкость мастики - один из показателей качества мастики. Измерять этот показатель можно по-разному. Разные способы измерения дают разные результаты. Ничего необычного в этом нет. Однако поставщику и потребителю следует согласовать способы измерения показателей качества. Иначе достаточно часто поставщик (производитель) будет утверждать, что он выполнил условия контракта, а потребитель заявлять, что нет. Такая конфликтная ситуация иногда называется арбитражной, поскольку для ее решения стороны могут обращаться в арбитражный суд. Простейший метод согласования способов измерения показателей состоит в том, чтобы выбрать один из них и внести в государственный стандарт, который тем самым будет содержать не только описание продукции, перечень ее показателей качества и требований к ним, но и способы измерения этих показателей.
	Заключение по статистическим данным, представленным химическим комбинатом. Для каждой из 213 партий мастики представлены два числа - результат измерения вязкости на нестандартном приборе фабрики им. А.А. Петрова и результат измерения вязкости на стандартном вискозиметре ВЗ-4. Требуется установить, дают ли два указанных метода сходные результаты. Если они дают сходные результаты, нет необходимости вводить в соответствующий ГОСТ требование об обязательном использовании определенного метода определения вязкости. Если же методы дают существенно различные результаты, то подобное требование ввести необходимо.
	Для применения статистических методов в рассматриваемой задаче необходимо описать вероятностную модель. Считаем, что статистические данные имеют вид 

где xi  -результат измерения на нестандартном приборе фабрики им. А.А. Петрова в i-ой партии, а yi - результат измерения вязкости на стандартном вискозиметре ВЗ-4 в той же i-ой партии. 
	Пусть ai - истинное значение показателя качества в i-ой партии. Естественно считать, что указанные выше случайные вектора независимы в совокупности. При этом они не являются одинаково распределенными, поскольку отличаются истинными значениями показателей качества ai. 
	Принимаем, что при каждом i случайные величины xi - ai  и yi - ai независимы и одинаково распределены. Это условие и означает однородность в связанных выборках. Параметры связи - величины ai . Их наличие не позволяет объединить первые координаты в одну выборку, вторую - во вторую, как делалось в случае проверки однородности двух независимых выборок.
	В предположении непрерывности функций распределения из условия однородности в связанных выборках вытекает, что 

	Рассмотрим случайные величины  Из последнего соотношения вытекает, что при справедливости гипотезы однородности для связанных выборок эти случайные величины имеют нулевые медианы. Другими словами, проверка того, что два метода измерения вязкости дают схожие результаты, эквивалентна проверке равенства 0 медиан величин Zi.
	Для проверки гипотезы о том, что медианы величин Zi нулевые, применим широко известный критерий знаков (см., например, справочник [1, с.89-91]). Согласно этому критерию необходимо подсчитать, в скольких партиях и в скольких . Для представленных химическим комбинатом данных  в 187 случаях из 213 и  в 26 случаях из 213.
	Если рассматриваемая гипотеза верна, то число W осуществлений события  имеет биномиальное распределение с параметрами p = 1/2 и n = 213. Математическое ожидание М(W) = 106,5, а среднее квадратическое отклонение  Следовательно, интервал  - это интервал 84 < W< 129. Найденное по данным химического комбината значение W = 187 лежит далеко вне этого интервала. Поэтому рассматриваемую гипотезу необходимо отвергнуть (на любом используемом в прикладных работах уровне значимости, в частности, на уровне значимости 1%).
	Таким образом, статистический анализ показывает, что два метода дают существенно различные результаты - по прибору фабрики им. А.А. Петрова результаты измерений, как правило, меньше, чем по вискозиметру ВЗ-4. Это означает, что в соответствующий ГОСТ целесообразно ввести указание на метод определения вязкости.
	Система вероятностных моделей при проверке гипотезы однородности связанных выборок. Как и в случае проверки однородности независимых выборок, система вероятностных моделей состоит из трех уровней. Наиболее простая модель - на уровне однородности альтернативного признака - уже рассмотрена. Она сводится к проверке гипотезы о значении параметра биномиального распределения:

	Речь идет о «критерии знаков». При справедливости гипотезы однородности число W осуществлений события  имеет биномиальное распределение с вероятностью успеха p = 1/2 и числом испытаний n. Альтернативная гипотеза состоит в том, что вероятность успеха отличается от 1/2:

Гипотезу p = 1/2 можно проверять как непосредственно с помощью биномиального распределения (используя таблицы или программное обеспечение), так и опираясь на теорему Муавра-Лапласа. Согласно этой теореме 

при всех х, где Ф(х) - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1.
	Из теоремы Муавра-Лапласа вытекает правило принятия решений на уровне значимости 5%: если

то гипотезу однородности связанных выборок принимают, в противном случае отклоняют. 
	Как обычно, при желании использовать другой уровень значимости применяют в качестве критического значения иную квантиль нормального распределения. Использование предельных теорем допустимо при достаточно больших объемах выборки. По поводу придания точного смысла термину «достаточно большой» продолжаются дискуссии. Обычно считается, что несколько десятков (два-три десятка) - это уже «достаточно много». Более правильно сказать, что ответ зависит от конкретной задачи, от ее сложности и практической значимости. 
	Второй уровень моделей проверки однородности связанных выборок - это уровень проверки однородности характеристик, прежде всего однородности математических ожиданий. Исходные данные - количественные результаты измерений (наблюдений, испытаний, анализов, опытов) двух признаков хj и уj , j = 1,2,…,n, а непосредственно анализируются их разности Zj = хj  - уj , j = 1,2,…,n. Предполагается, что эти разности независимы в совокупности и одинаково распределены, однако функция распределения неизвестна статистику. 
	Необходимо проверить непараметрическую гипотезу

Альтернативная гипотеза также является непараметрической и имеет вид:

Как и в случае проверки гипотезы согласованности для независимых выборок с помощью критерия Крамера-Уэлча, в рассматриваемой ситуации естественно использовать статистику

где

среднее арифметическое разностей, а 

выборочное среднее квадратическое отклонение. 
	Из Центральной предельной теоремы теории вероятностей и теорем о наследовании сходимости, описанных в главе 14, вытекает, что

при всех х, где Ф(х) - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Отсюда вытекает правило принятия решений на уровне значимости 5%: если

то гипотезу однородности математических ожиданий связанных выборок принимают, в противном случае отклоняют. Как обычно, при желании использовать другой уровень значимости применяют в качестве критического значения иную квантиль нормального распределения. Повторим, что использование предельных теорем допустимо при достаточно больших объемах выборки. 
	Третий уровень моделей проверки однородности связанных выборок - это уровень проверки однородности (совпадения) функций распределения. Необходимо проверить непараметрическую гипотезу наиболее общего вида:

где

При этом предполагается, что все участвующие в вероятностной модели случайные величины независимы (в совокупности) между собой. 
	Отметим одно важное свойство функции распределения случайной величины Z. Если случайные величины Х и Y независимы и одинаково распределены, то для функции распределения H(x) = P(Z < x) случайной величины Z = X – Y выполнено, как нетрудно видеть, соотношение
H(-x) = 1 - H(x).
	Это соотношение означает симметрию функции распределения относительно 0. Плотность такой функции распределения является четной функцией, ее значения в точках х и (-х) совпадают.
	Проверка гипотезы однородности связанных выборок в наиболее общем случае сводится к проверке симметрии функции распределения разности Z = X – Y относительно 0.

5.6. Проверка гипотезы симметрии

	Рассмотрим методы проверки гипотезы симметрии функции распределения относительно 0. Сначала обсудим, какого типа отклонения от гипотезы симметрии можно ожидать при альтернативных гипотезах?
	Как и в случае проверки однородности независимых выборок, в зависимости от вида альтернативной гипотезы выделяют два подуровня моделей. Рассмотрим сначала альтернативу сдвига

В этом случае распределение Z при альтернативе отличается сдвигом от симметричного относительно 0. Для проверки гипотезы однородности может быть использован критерий знаковых рангов, разработанный Вилкоксоном (см., например, справочник [2, с.46-53]). 
	Он строится следующим образом. Пусть R(Zj) является рангом |Zj| в ранжировке от меньшего к большему абсолютных значений разностей |Z1|, |Z2|,…,|Zn|, j=1,2,…,n. Положим для j=1,2,…,n

Статистика критерия знаковых рангов имеет вид

Таким образом, нужно просуммировать ранги положительных разностей в вариационном ряду, построенном стандартным образом по абсолютным величинам всех разностей.
	Для практического использования статистики критерия знаковых рангов Вилкоксона либо обращаются к соответствующим таблицам и программному обеспечению, либо применяют асимптотические соотношения. При выполнении нулевой гипотезы статистика

имеет асимптотическое (при ) стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1. Следовательно, правило принятия решений на уровне значимости 5%: имеет обычный вид: если

то гипотезу однородности связанных выборок по критерию знаковых рангов Вилкоксона принимают, в противном случае отклоняют. Как обычно, при желании использовать другой уровень значимости применяют в качестве критического значения иную квантиль нормального распределения. 
	Повторим еще раз: использование предельных теорем допустимо при достаточно больших объемах выборки. 
	Альтернативная гипотеза общего вида записывается как

при некотором х0 . Таким образом, проверке подлежит гипотеза симметрии относительно 0, которую можно переписать в виде
H(x) + H(-x) - 1 = 0 .
Для построенной по выборке Zj = хj  - уj , j = 1, 2, …, n, эмпирической функции распределения Hn(x) последнее соотношение выполнено лишь приближенно:

	Как измерять отличие от 0? По тем же соображениям, что и в предыдущем пункте, целесообразно использовать статистику типа омега-квадрат. Соответствующий критерий был предложен в работе [6]. Он имеет вид

В настоящем разделе удобно считать, что значение эмпирической функции распределения Hn(x) в точке х равно доле результатов наблюдений в выборке, меньших или равных х.
	В работе [6] найдено предельное распределение только что введенной статистики:

	Это предельное соотношение выполнено при любом определении эмпирической функции распределения Hn(x). Как тогда, когда значение функции Hn(x) равно доле результатов наблюдений в выборке, меньших или равных х. Другими словами, когда Hn(x) строится как непрерывная справа функция - в тех точках, куда попадают результаты наблюдений. Так и тогда, когда значение функции Hn(x) равно доле результатов наблюдений в выборке, меньших х. В этом варианте эмпирическая функция распределения Hn(x) строится как непрерывная слева функция - в тех точках, куда попадают результаты наблюдений.
	В табл. 5.2 приведены критические значения статистики типа омега-квадрат для проверки симметрии распределения (и тем самым для проверки однородности связанных выборок), соответствующие наиболее распространенным значениям уровней значимости. Расчеты проведены Г.В. Мартыновым из МГУ им. М.В.Ломоносова.

Таблица 5.2. 
Критические значения статистики , предназначенной 
для проверки симметрии распределения
Значение функции распределения 	Уровень значимости 	Критическое значение х статистики 	
0,90	0,10	1,20	
0,95	0,05	1,66	
0,99	0,01	2,80	

	Как следует из табл. 5.2, правило принятия решений при проверке однородности связанных выборок в наиболее общей постановке и при уровне значимости 5% формулируется так. Вычислить статистику . Если  < 1,66, то принять гипотезу однородности. В противном случае - отвергнуть.
	Пример. Пусть величины Zj , j=1, 2, …, 20, таковы:
20, 18, (-2), 34, 25, (-17), 24, 42, 16, 26, 
13, (-23), 35, 21, 19, 8, 27, 11, (-5), 7.
Соответствующий вариационный ряд имеет вид:
(-23) < (-17) < (-5) < (-2) < 7 < 8 < 11 < 13 < 16 < 18 <
< 19 < 20 < 21 < 24 < 25 < 26 < 27 < 34 < 35 < 42.
	Для расчета значения статистики  построим табл. 5.3 из 7 столбцов и 20 строк, не считая заголовков столбцов (сказуемого таблицы). В первом столбце указаны номера (ранги) членов вариационного ряда, во втором - сами эти члены, в третьем - значения эмпирической функции распределения при значениях аргумента, совпадающих с членами вариационного ряда. В следующем столбце приведены члены вариационного ряда с обратным знаком, а затем указываются соответствующие значения эмпирической функции распределения. Например, поскольку минимальное наблюдаемое значение равно (-23), то Hn(x)=0 при x < (-23), а потому для членов вариационного ряда с 14-го по 20-й в пятом столбце стоит 0. В качестве другого примера рассмотрим минимальный член вариационного ряда, т.е. (-23). Меняя знак, получаем 23. Это число стоит между 13-м и 14-м членами вариационного ряда, 21 < 23 < 24. На этом интервале эмпирическая функция распределения совпадает со своим значением в левом конце, поэтому следует записать в пятом столбце значение 0,65. Остальные ячейки пятого столбца заполняются аналогично. На основе третьего и пятого столбцов элементарно заполняется шестой столбец, а затем и седьмой. Остается найти сумму значений, стоящих в седьмом столбце. Подобная таблица удобна как для ручного счета, так и при использовании электронных таблиц типа Excel.

Таблица 5.3 
Расчет значения статистики 
для проверки симметрии распределения
j	Z(j)	Hn(Z(j))	- Z(j)	Hn(-Z(j))	Hn(Z(j))+
Hn(-Z(j))-1	(Hn(Z(j))+
Hn(-Z(j))-1)2	
1	-23	0,05	23	0,65	-0,30	0,09	
2	-17	0,10	17	0,45	-0,45	0,2025	
3	-5	0,15	5	0,20	-0,65	0,4225	
4	-2	0,20	2	0,20	-0,60	0,36	
5	7	0,25	-7	0,10	-0,65	0,4225	
6	8	0,30	-8	0,10	-0,60	0,36	
7	11	0.35	-11	0,10	-0,55	0,3025	
8	13	0,40	-13	0,10	-0,50	0,25	
9	16	0,45	-16	0,10	-0,45	0,2025	
10	18	0,50	-18	0,05	-0,45	0,2025	
11	19	0,55	-19	0,05	-0,40	0,16	
12	20	0,60	-20	0,05	-0,35	0,1225	
13	21	0,65	-21	0,05	-0,30	0,09	
14	24	0,70	-24	0	-0,30	0,09	
15	25	0,75	-25	0	-0,25	0,0625	
16	26	0,80	-26	0	-0,20	0,04	
17	27	0,85	-27	0	-0,15	0,0225	
18	34	0,90	-34	0	-0,10	0,01	
19	35	0,95	-35	0	-0,05	0,0025	
20	42	1,00	-42	0	0	0	
 
	Результаты расчетов (суммирование значений по седьмому столбцу табл. 5.3) показывают, что значение статистики  = 3,415. В соответствии с табл. 5.2 это означает, что на любом используемом в прикладных статистических исследованиях уровнях значимости отклоняется гипотеза симметрии распределения относительно 0 (а потому и гипотеза однородности в связанных выборках).

5.7. Реальные и номинальные уровни значимости 
в задачах проверки статистических гипотез

	Во многих монографиях и справочных таблицах при проверке статистических гипотез критические значения статистик указаны для априорно фиксированных (номинальных в терминологии [1]) уровней значимости . В качестве таковых обычно используются значения из тройки чисел 0,01, 0,05, 0,1, к которым иногда добавляют еще несколько: 0,001, 0,005 и др.
	Однако ясно, что для дискретных статистик (т.е. статистик с дискретными функциями распределения) к которым, в частности, относятся все непараметрические статистические критерии [1, 2], реальные уровни значимости  могут и совпадать с номинальными. Под  понимается максимально возможный уровень значимости дискретной статистики, не превосходящий заданный номинальный  (т.е при переходе к следующему по величине возможному значению дискретной статистики соответствующий уровень значимости оказывается больше заданного номинального). Поэтому в лучших таблицах [1, 2] для ограниченных объемов выборок (2 - 100) табулируются точные распределения дискретных статистик. Для каждой конкретной статистики реальный уровень значимости  - функция от объемов выборок n = (n1, …, nt), т.е.  = (n). 
	В одних таблицах приведены  [1,2], в других - нет. Возникает естественный вопрос: с чем это связано? Либо в работах, игнорирующих различие между номинальными и реальными уровнями значимости, нарушена культура табулирования, либо реальные  и номинальные  уровни значимости практически совпадают для всех n. Продемонстрируем, что по крайней мере для некоторых статистик выполнено первое из этих двух утверждений.
	В качестве примера рассмотрим критерий серий (Вольфовица) проверки однородности двух независимых выборок. Статистика этого критерия V – это число серий, т.е. частей общего вариационного ряда двух выборок, каждая из которых состоит из элементов одной выборки. При справедливости нулевой гипотезы о тождестве функций распределения, соответствующих двум независимым выборкам объемов n1 и n2, известно точное распределение [1, табл.6.7]

ï

ï

î

ï

ï

í

ì

+

=

+

=

=

=

+

-

-

-

-

-

-

+

-

-

-

-

,

1

2

,

,

2

,

2

)

,

|

(

1

2

1

2

1

2

1

1

2

1

2

1

1

1

1

1

1

1

1

1

1

1

2

1

k

r

если 

C

C

C

C

C

k

r

если 

C

C

C

n

n

r

V

P

n

n

n

k

n

k

n

k

n

k

n

n

n

n

k

n

k

n

где r = 2, 3, …, 2n1 при n1 = n2 и r = 2, 3, …, 2n1 + 1 при n1 < n2 (без ограничения общности можно принять, что объем первой выборки не превосходит объема второй выборки, т.е. n1 < n2).
	Несложный расчет для номинального уровня значимости  = 0,05 показывается, что
	при n1 = n2 = 6 реальный уровень значимости  = 0,0260;
	при n1 = n2 = 8 реальный уровень значимости  = 0,0178;
	при n1 = n2 = 10 реальный уровень значимости  = 0,0370;
	при n1 = n2 = 12 реальный уровень значимости  = 0,0190.
	Таким образом, для рассматриваемых объемов выборок реальный уровень значимости в 2 - 3 раза меньше, чем номинальный. Это, очевидно, необходимо учитывать при интерпретации результатов анализа реальных статистических данных.
	В табл. 5.4, построенной по данным [1, 2, 7], для ряда непараметрических критериев проверки однородности двух независимых выборок приведены реальные уровни значимости (n) для номинального уровня значимости  = 0,05 и объемов выборок n = n1 = n2 = 6, 8, 10, 12. Проанализированы пять критериев.
	1. Двухвыборочный критерий Вилкоксона, являющийся линейной функцией от критерия Манна-Уитни и подробно рассмотренный в разд. 5.3. Напомним, что статистика Вилкоксона S - это сумма рангов элементов первой выборки

в общем вариационном ряду, построенном по объединенной выборке, включающей в себя все элементы обеих выборок (без ограничения общности можно принять, что объем первой выборки не превосходит объема второй выборки, т.е. n1 < n2).
	2. Критерий Ван-дер-Вардена [1, 7] - дальнейшее развитие критерия Вилкоксона - предназначен для анализа выборок, распределение которых близко к нормальному. Статистика Х критерия Ван-дер-Вардена имеет вид
,
где  есть квантиль порядка p стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1, т.е.  - обратная функция к .
	3. Двухвыборочный двухсторонний критерий Смирнова однородности двух независимых выборок рассмотрен в разд. 5.4. Он основан на использовании разности эмпирических функций распределения  и  построенных по первой и второй выборкам соответственно. Термин «двухсторонний» означает, что берется супремум модуля этой разности. Статистика двухвыборочного двухстороннего критерия Смирнова

в случае равенства объемов выборок n1 = n2 принимает значения кратные 1/n1, поскольку только такие значения принимают эмпирические функции распределения  и , а потому имеет (n1+1) возможных значений.
	4. Критерий знаков Z используют в случае равенства объемов выборок n1 = n2. Статистика этого критерия равна числу положительных разностей Xk - Yk элементов двух выборок с одинаковыми номерами. При справедливости нулевой гипотезы статистика Z имеет биномиальное распределение B(1/2; n1), а потому имеет (n1+1) возможных значений.
	5. Критерий серий (Вольфовица) V, о котором шла речь выше в начале настоящего раздела. Число его возможных значений не превосходит 2n1.

Таблица 5.4
Реальные уровни значимости  (n) для  = 0,05
Наименование и обозначение критерия	Объемы выборок n1 = n2	Примечания и ссылки	
	6	8	10	12		
Вилкоксона S	0,0320	0,0400	0,0480	0,0420	[2, с.280-281], 
[7, с.418 ]	
Ван-дер-Вардена X	0,0498	0,0498	0,0500	0,0500	Рассчитано по мето- дике [7, с.249-250]	
Смирнова D	0,0044	0,0372	0,0246	0,0158	[1, с.350], 
[2, с.406-427]	
Знаков Z	0,0312	0,0078	0,0214	0,0386	[2, с.273-274]	
Вольфовица (серий) V	0,0260	0,0178	0,0370	0,0190	Рассчитано по мето- дике [1, с.91-92]	

	Анализ содержания табл. 5.4 подтверждает предположение о существенности отличия реальных уровней значимости (n) от номинальных уровней значимости .
	Предположим теперь, что несмотря на установленные отличия, мы используем при проверке гипотезы однородности таблицы, в которых указаны , а не . Это приводит к снижению мощности критерия по сравнению с соответствующим рандомизированным критерием, обеспечивающим равенство  и . 
	Разъяснение. Поясним, что такое рандомизированный критерий. Пусть Y – статистика некоторого статистического критерия, принимающая дискретные значения; числа a и b, где a < b, - два соседних значения этой статистики, такие, что P(Y > b) <  и P(Y > a) >  (вероятности взяты в предположении справедливости нулевой гипотезы). Если критическое значение критерия равно b, т.е. нулевая гипотеза принимается при Y < b, то  = P(Y > b) < . Если же критическое значение равно следующему возможному (при движении в сторону уменьшения) значению a, т.е. нулевая гипотеза принимается при Y < a, то  = P(Y > a) > . Рандомизированный критерий получим, если при Y = b в некоторой доле p случаев будем принимать нулевую гипотезу, а в остальных случаях – альтернативную. Поскольку
P(Y = b) = P(Y > a) - P(Y > b),
то (реальный) уровень значимости рандомизированного критерия равен
(1 – p) P(Y = b) + P(Y > b) = (1 – p) P(Y > a) + p P(Y > b).
Ясно, что при соответствующем выборе параметра рандомизации p уровень значимости рандомизированного критерия совпадет с заданным номинальным уровнем .
	Для малых объемов выборок (2 - 20 элементов) понижение мощности из-за того, что , может быть существенным. Для иллюстрации этого в табл. 5.5 приведены результаты моделирования наиболее употребительных (согласно [1]) критериев проверки однородности двух независимых выборок. 
	Моделируются выборки одинакового объема из нормального закона распределения с математическими ожиданиями m1 и m2 и дисперсиями  и . Номинальный уровень значимости, определяющий конкретные критические значения для критериев, принят равным  = 0,05. Мощность критерия определяется моделированием N = 5000 пар выборок. При использовании N = 5000 моделируемых пар выборок среднее квадратическое отклонение оценок мощности  (при M > 0,95 имеем ). 

Таблица 5.5
Мощности статистических критериев при  = 0,05
Номер экспери-мента	Объем выборок n1 = n2	Параметры	Мощность M статистического критерия 	
		m1	m2			S	V	X	D	T	
1	6	0	1	1	1	0,318	0,006	0,298	0,238	0,396	
2	8	0	1	1	1	0,452	0,104	0,426	0,068	0,484	
3	10	0	1	1	1	0,520	0,180	0,534	0,116	0,598	
4	12	0	1	1	1	0,632	0,076	0,618	0,462	0,682	
5	6	0	2	1	1	0,828	0,308	0,808	0,716	0,904	
6	8	0	2	1	1	0,958	0,510	0,954	0,458	0,976	
7	10	0	2	1	1	0,984	0,704	0,990	0,632	0,988	
8	12	0	2	1	1	0,996	0,568	0,996	0,978	0,998	

	Изучены критерии Вилкоксона S, Вольфовица V, Ван-дер-Вардена X, Смирнова D. Критерий Стьюдента t (см. например, [1]), как равномерно наиболее мощный в классе нормальных законов распределения, приведен для сравнительной оценки мощности рассматриваемых непараметрических критериев. (Моделирование и расчеты, приведенные в настоящем разделе, выполнены Ю.Э. Камнем и Я.Э. Камнем [8].)
	Замечание. Приведенные в табл. 5.5 значения мощностей критериев интересны нам с точки зрения обсуждения их зависимости от различия реальных и номинальных уровней значимости. Эти значения зависят от предположений, принятых при моделировании. Так, критерии Вилкоксона и Ван-дер-Вардена «настроены» на использование в случае распределений, близких к нормальному семейству. При проверке гипотезы о совпадении функций распределения двух независимых выборок из логистического распределения с альтернативой сдвига критерий Вилкоксона является асимптотически оптимальным. А в случае выборок из нормального распределения аналогичным свойством обладает критерий Ван-дер-Вардена, причем известно, что семейства нормальных и логистических распределений весьма близки – расстояние Колмогорова между ними не превышает 0,01 (см. по вопросам асимптотической оптимальности непараметрических критериев монографию [9]). Поэтому нет ничего удивительного в том, что мощности критериев Вилкоксона и Ван-дер-Вардена близки к оптимуму в случае нормального распределения – к мощности критерия Стьюдента. Мощности критериев Смирнова и особенно критерия Вольфовица заметно меньше. Однако для выборок из других распределений (например, распределений Вейбулла-Гнеденко или гамма-распределений) ситуация иная – критерий Смирнова, как показывает компьютерное моделирование, оказывается более мощным, чем критерии Вилкоксона и Ван-дер-Вардена. Более того, критерий Смирнова – состоятельный, т.е. позволяет отклонить любую конкретную альтернативу (при соответствующих объемах выборок), а критерии Вилкоксона и Ван-дер-Вардена не являются состоятельными, некоторых альтернатив они «не чувствуют» (см. разд. 5.3). Поэтому вполне обоснованной является рекомендация о широком использовании состоятельных критериев Смирнова и типа омега-квадрат (Лемана-Розенблатта), данная в разд. 5.4. Что же касается критерия серий (Вольфовица), то из-за его отрицательных свойств (выраженной дискретности, низкой мощности) он в настоящее время выходит из употребления при анализе реальных данных, несмотря на прозрачность определения.
	Рассмотрения настоящего раздела позволяют сделать следующие выводы. 
	1. При создании методик и таблиц необходимо соблюдать определенную культуру табулирования. В качестве положительных примеров можно указать работы [1, 2].
	2. При малых объемах выборок использовать номинальные уровни значимости  вместо реальных уровней значимости  для дискретных статистик недопустимо.
	3. При конечных объемах выборок выбор того или иного критерия с дискретной статистикой должен сопровождаться исследованием влияния варьирования уровня значимости на качественную интерпретацию результатов проверки гипотез. В частности, выбор одного из двух конкурирующих непараметрических критериев K1 и K2 прежде всего должен зависеть от априорного выбора исследователем реального уровня значимости  или , соответствующего первому критерию K1 или второму K2, в качестве номинального уровня значимости . 
	Последний вывод демонстрирует сложность сравнения критериев с дискретными статистиками между собой, поскольку точки скачков распределений их статистик не совпадают. Следовательно, в отличие от критериев с непрерывными статистиками нельзя выбрать единый фиксированный уровень значимости и сравнить свойства критериев при этом уровне значимости.
	Для любого критерия проверки статистических гипотез реальный уровень значимости приближается к номинальному при безграничном возрастании объемов выборок, т.е.  при . Поэтому для прикладных исследований значительный интерес представляет определение верхней оценки скорости сходимости (n) к . Соответствующие теоретические результаты для критериев проверки однородности двух независимых или связанных выборок можно получить, основываясь на оценках скорости сходимости в принципе инвариантности (разд. 14.5). Некоторые оценки приведены в [10, гл.2]. Скорость сходимости также может быть оценена методом статистических испытаний (Монте-Карло). Пример подобного исследования подробно рассмотрен в разд.8.5 в ходе обсуждения проблем вероятностно-статистического моделирования помех, создаваемых электровозами. 
	В настоящей главе затронута лишь небольшая часть непараметрических методов анализа числовых статистических данных. Обратим внимание на непараметрические оценки плотности, используемые для описания данных, проверки однородности, в задачах восстановления зависимостей и других областях статистических методов. Непараметрические оценки плотности рассмотрены в главе 2.

Литература

1. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983. - 416 с.
2. Холлендер М., Вульф Д. Непараметрические методы статистики. – М.: Финансы и статистика, 1983. - 518 с. 
3. Боровков А.А. Математическая статистика. – М.: Наука, 1984. - 472 с.
4. Гаек Я., Шидак 3. Теория ранговых критериев / Пер. с англ. - М.: Наука, 1971. – 376 с.
5. Смолянский М.Л. Таблицы неопределенных интегралов. - М.: ГИФМЛ, 1961. - 108 с. 
6. Орлов А.И. О проверке симметрии распределения // Теория вероятностей и ее применения. - 1972. - Т.17. - №2. - С.372-377.
7. Ван-дер-Варден Б.Л. Математическая статистика. – М.: ИЛ, 1960. – 434 с.
8. Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез // Заводская лаборатория. - 1986. - Т.52. - № 12. - С.55-57.
9. Никитин Я.Ю. Асимптотическая эффективность непараметрических критериев. - М.: Наука, 1995. - 240 с.
10. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. – 296 с.

Контрольные вопросы и задачи

1. Почему непараметрические методы анализа числовых данных предпочтительнее параметрических?
2. Указать доверительные границы для математических ожиданий (с доверительной вероятностью 0,95) и проверить гипотезу о равенстве математических ожиданий с помощью критерия Крамера-Уэлча (уровень значимости  = 0,05):

Номер варианта	n1		sx	n2		sy	
1	100	13,7	7,3	200	12,1	2,5	
2	200	10	5,3	400	12	1,7	

3. Проверить гипотезу об однородности функций распределения с помощью критерия Вилкоксона (на уровне значимости  = 0,05):

Первая выборка	33	27	12	27	39	42	47	48	50	32	
Вторая выборка	11	20	30	31	22	18	17	25	28	29	

4. Для каждого из N = 20 объектов даны значения Xj и Yj , j = 1, 2, …, N, результатов измерений (наблюдений, испытаний, анализов, опытов) двух признаков. Необходимо проверить, есть ли значимое различие между значениями двух признаков или же это различие может быть объяснено случайными отклонениям значений признаков. Другими словами, требуется проверить однородность (т.е. отсутствие различия) связанных выборок.

Таблица 5.6
Исходные данные для задачи 4
j	1	2	3	4	5	6	7	8	9	10	
Xj	74	79	65	69	71	66	71	73	72	68	
Yj	73	65	71	69	70	69	78	70	60	62	
j	11	12	13	14	15	16	17	18	19	20	
Xj	70	69	76	74	72	69	74	72	77	75	
Yj	61	67	73	67	73	64	67	65	63	70	

	Проверку однородности на уровне значимости 0,05 проведите с помощью трех критериев:
	А) критерия знаков (основанного на проверке гипотезы р = 0,5 для биномиального распределения с использованием теоремы Муавра-Лапласа);
	Б) критерия для проверки равенства 0 математического ожидания (критерий основан на асимптотической нормальности выборочного среднего арифметического, деленного на выборочное среднее квадратическое отклонение);
	В) критерия типа омега-квадрат для проверки гипотезы симметрии функции распределения (разности результатов измерений, наблюдений, испытаний, анализов, опытов для двух признаков) относительно 0.
5. Какова роль альтернативных гипотез, в частности, гипотезы сдвига, в выборе критерия для проверки нулевой гипотезы?
6. Чем реальный уровень значимости отличается от номинального?
7. Как выбрать параметр рандомизации p, чтобы уровень значимости рандомизированного критерия совпал с заданным номинальным уровнем ?
8. Почему трудно сравнивать между собой статистические критерии проверки гипотез, статистики которых имеют дискретные распределения? 

Темы докладов, рефератов, исследовательских работ

1. Асимптотическая нормальность оценок параметров как основа проверки гипотез о параметрах.
2. Сравнение двухвыборочных критериев Крамера-Уэлча и Стьюдента.
3. Достоинства и недостатки двухвыборочного критерия Вилкоксона по сравнению с другими непараметрическими критериями однородности.
4. Для данных задачи 3 рассчитайте значения статистик Смирнова и типа омега-квадрат (Лемана – Розенблатта) и проверьте однородность двух выборок. 
	Примечание. В соответствии с [1] для уровня значимости 0,05 критическим значением для критерия Смирнова является 0,7 (т.е. гипотеза однородности отклоняется, если значение статистики Смирнова не менее 0,7). Для того же уровня значимости критическим значением для критерия типа омега-квадрат (Лемана – Розенблатта) является 0,461.
5. Многообразие непараметрических критериев проверки гипотез (по монографиям [1, 2, 4]).
6. Сравнение мощностей непараметрических критериев однородности. 
7. Рандомизированные критерии.
8. Подходы к определению асимптотической эффективности непараметрических критериев.

Глава 6. Многомерный статистический анализ 

	В многомерном статистическом анализе выборка состоит из элементов многомерного пространства. Отсюда и название этого раздела статистических методов. Из многих задач многомерного статистического анализа рассмотрим основные – корреляцию, восстановление зависимости, классификацию, уменьшение размерности, индексы.

6.1. Коэффициенты корреляции

	Термин «корреляция» означает «связь». В области статистических методов этот термин обычно используется в сочетании «коэффициенты корреляции». Рассмотрим линейный и непараметрические парные коэффициенты корреляции.
	Обсудим способы измерения связи между двумя случайными переменными. Пусть исходными данными является набор случайных векторов  Выборочным коэффициентом корреляции, более подробно, выборочным линейным парным коэффициентом корреляции К. Пирсона, как известно, называется число

	Если rn = 1, то  причем a>0. Если же rn = - 1, то  причем a<0. Таким образом, близость коэффициента корреляции к 1 (по абсолютной величине) говорит о достаточно тесной линейной связи. 
	Если случайные вектора  независимы и одинаково распределены, то выборочный коэффициент корреляции сходится к теоретическому при безграничном возрастании объема выборки:

(сходимость по вероятности).
	Более того, выборочный коэффициент корреляции является асимптотически нормальным. Это означает, что

где - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1, а - асимптотическая дисперсия выборочного коэффициента корреляции. Она имеет довольно сложное выражение, приведенное в монографии [1, с.393]:

Здесь под  понимаются теоретические центральные моменты порядка k и m, а именно,
.
	Коэффициенты корреляции типа rn используются во многих алгоритмах многомерного статистического анализа. В теоретических рассмотрениях часто считают, что случайные вектора  имеют двумерное нормальное распределение. Распределения реальных данных, как правило, отличны от нормальных (см. главу 2.1). Почему же распространено представление о двумерном нормальном распределении? Дело в том, что теория в этом случае проще. В частности, равенство 0 теоретического коэффициента корреляции эквивалентно независимости случайных величин. Поэтому проверка независимости сводится к проверке статистической гипотезы о равенстве 0 теоретического коэффициента корреляции. Эта гипотеза принимается, если , где- некоторое граничное значение, зависящее от объема выборки n и уровня значимости .
	Если предположение о двумерной нормальности не выполнено, то из равенства 0 теоретического коэффициента корреляции не вытекает независимость случайных величин. Нетрудно построить пример случайного вектора, для которого коэффициент корреляции равен 0, но координаты зависимы. Кроме того, для проверки гипотез о коэффициенте корреляции нельзя пользоваться таблицами, рассчитанными в предположении нормальности. Можно построить правила принятия решений на основе асимптотической нормальности выборочного коэффициента корреляции. Но есть и другой путь – перейти к непараметрическим коэффициентам корреляции, одинаково пригодным при любом непрерывном распределении случайного вектора.
	Для расчета непараметрического коэффициента ранговой корреляции Спирмена необходимо сделать следующее. Для каждого xi рассчитать его ранг ri в вариационном ряду, построенном по выборке Для каждого yi рассчитать его ранг qi в вариационном ряду, построенном по выборке  Для набора из n пар вычислить линейный коэффициент корреляции. Он называется коэффициентом ранговой корреляции, поскольку определяется через ранги. В качестве примера рассмотрим данные из табл. 6.1. 
	Для данных табл. 6.1 коэффициент линейной корреляции равен 0,83, непосредственной линейной связи нет. А вот коэффициент ранговой корреляции равен 1, поскольку увеличение одной переменной однозначно соответствует увеличению другой переменной. Во многих экономических задачах, например, при выборе инвестиционных проектов, достаточно именно монотонной зависимости одной переменной от другой.

Таблица 6.1 
Данные для расчета коэффициентов корреляции
i	1	2	3	4	5	
xi	5	10	15	20	25	
yi	6	7	30	81	300	
ri	1	2	3	4	5	
qi	1	2	3	4	5	

	Поскольку суммы рангов и их квадратов нетрудно подсчитать, то коэффициент ранговой корреляции Спирмена равен

	Коэффициент ранговой корреляции Спирмена остается постоянным при любом строго возрастающем преобразовании шкалы измерения результатов наблюдений. Другими словами, он является адекватным в порядковой шкале (см. главу 11.3), как и другие ранговые статистики, например, статистики Вилкоксона, Смирнова, типа омега-квадрат для проверки однородности независимых выборок (глава 5). 
	Широко используется также коэффициент ранговой корреляции Кендалла, коэффициент ранговой конкордации Кендалла и Б. Смита (речь идет о сумме попарных коэффициентов ранговой корреляции Кендалла в случае более чем двух переменных) и др. Наиболее подробное обсуждение этой тематики содержится в монографии [2], необходимые для практических расчетов таблицы имеются в справочнике [3]. Дискуссия о наиболее адекватном выборе вида коэффициентов корреляции продолжается и в настоящее время.

6.2. Восстановление линейной зависимости 
между двумя переменными

	Начнем с задачи точечного и доверительного оценивания линейной функции одной переменной.
	Исходные данные – набор n пар чисел (tk , xk), k = 1,2,…,n, где tk – независимая переменная (например, время), а xk – зависимая (например, индекс инфляции, курс доллара США, объем месячного производства или размер дневной выручки торговой точки). Предполагается, что переменные связаны зависимостью
xk = a (tk - tср)+ b + ek , k = 1,2,…,n, 
где a и b – параметры, неизвестные статистику и подлежащие оцениванию, а ek – погрешности, искажающие зависимость. Среднее арифметическое моментов времени
tср = (t1 + t2 +…+tn )/n
введено в модель для облегчения дальнейших выкладок.
	Обычно оценивают параметры a и b линейной зависимости методом наименьших квадратов. Затем восстановленную зависимость используют, например, для точечного и интервального прогнозирования. 
	Метод наименьших квадратов разработан великим немецким математиком К. Гауссом в 1794 г. Согласно этому методу для расчета наилучшей функции, приближающей линейным образом зависимость x от t, следует  рассмотреть функцию двух переменных

Оценки метода наименьших квадратов - это такие значения a* и b*, при которых функция f(a,b) достигает минимума по всем значениям аргументов. 
	Чтобы найти эти оценки, надо вычислить частные производные от функции f(a,b) по аргументам a и b, приравнять их 0, затем из полученных уравнений найти оценки: Имеем:

Преобразуем правые части полученных соотношений. Вынесем за знак суммы общие множители 2 и (-1). Затем рассмотрим слагаемые. Раскроем скобки в первом выражении, получим, что каждое слагаемое разбивается на три. Во втором выражении также каждое слагаемое есть сумма трех. Значит, каждая из сумм разбивается на три суммы. Имеем:

Приравняем частные производные 0. Тогда в полученных уравнениях можно сократить множитель (-2). Поскольку
		(6.1)
уравнения приобретают вид

Следовательно, оценки метода наименьших квадратов имеют вид
  (6.2)
	В силу соотношения (6.1) оценку а* можно записать в более симметричном виде:
. 		(6.3)
Эту оценку нетрудно преобразовать и к виду

Следовательно, восстановленная функция, с помощью которой можно прогнозировать и интерполировать, имеет вид 
x*(t) = a*(t - tср)+ b*.
	Обратим внимание на то, что использование tср  в последней формуле ничуть не ограничивает ее общность. Сравним с моделью вида
xk = c tk+ d + ek , k = 1,2,…,n. 
Ясно, что 

Аналогичным образом связаны оценки параметров:

	Для получения оценок параметров и прогностической формулы нет необходимости обращаться к какой-либо вероятностной модели. Однако для того, чтобы изучать погрешности оценок параметров и восстановленной функции, т.е. строить доверительные интервалы для a*, b* и x*(t), подобная модель необходима.
	Непараметрическая вероятностная модель. Пусть значения независимой переменной t детерминированы, а погрешности ek , k = 1,2,…,n, - независимые одинаково распределенные случайные величины с нулевым математическим ожиданием и дисперсией неизвестной статистику.
	В дальнейшем неоднократно будем использовать Центральную предельную теорему (ЦПТ) теории вероятностей для величин ek , k = 1,2,…,n (с весами), поэтому для выполнения ее условий необходимо предположить, например, что погрешности ek , k = 1,2,…,n, финитны или имеют конечный третий абсолютный момент. Однако заострять внимание на этих внутриматематических «условиях регулярности» нет необходимости.
	Асимптотические распределения оценок параметров. Из формулы (6.2) следует, что 
  (6.5)
Согласно ЦПТ оценка b* имеет асимптотически нормальное распределение с математическим ожиданием b и дисперсией оценка которой приводится ниже. 

	Из формул (6.2) и (6.5) вытекает, что
Последнее слагаемое во втором соотношении при суммировании по i обращается в 0, поэтому из формул (6.2) – (6.4) следует, что 
   (6.6)
Формула (6.6) показывает, что оценка  является асимптотически нормальной с математическим ожиданием  и дисперсией

Многомерная нормальность имеет быть, когда каждое слагаемое в формуле (6.6) мало сравнительно со всей суммой, т.е.

 	Из формул (6.5) и (6.6) и исходных предположений о погрешностях вытекает также несмещенность оценок параметров.
	Несмещенность и асимптотическая нормальность оценок метода наименьших квадратов позволяют легко указывать для них асимптотические доверительные границы (аналогично границам в предыдущей главе) и проверять статистические гипотезы, например, о равенстве определенным значениям, прежде всего 0. Предоставляем читателю возможность выписать формулы для расчета доверительных границ и сформулировать правила проверки упомянутых гипотез.
	Асимптотическое распределение прогностической функции. Из формул (6.5) и (6.6) следует, что

т.е. рассматриваемая оценка прогностической функции является несмещенной. Поэтому 

При этом, поскольку погрешности независимы в совокупности и , то

Таким образом, 

Итак, оценка  является несмещенной и асимптотически нормальной. Для ее практического использования необходимо уметь оценивать остаточную дисперсию 
	Оценивание остаточной дисперсии. В точках tk , k = 1,2,…,n, имеются исходные значения зависимой переменной xk  и восстановленные значения x*(tk). Рассмотрим остаточную сумму квадратов

В соответствии с формулами (6.5) и (6.6)

Найдем математическое ожидание каждого из слагаемых:

Из сделанных ранее предположений вытекает, что при  имеем следовательно, по закону больших чисел статистикаSS/n - состоятельная оценка остаточной дисперсии .
	Получением состоятельной оценкой остаточной дисперсии завершается последовательность задач, связанных с рассматриваемым простейшим вариантом метода наименьших квадратов. Не представляет труда выписывание верхней и нижней границ для прогностической функции:

где погрешность  имеет вид

	Здесь p - доверительная вероятность, U(p), как и в главе 3.1 - квантиль нормального распределения порядка (1+р)/2, т.е.

	При p = 0,95 (наиболее применяемое значение) имеем U(p) = 1,96. 
	Для других доверительных вероятностей соответствующие значения квантилей можно найти в статистических таблицах (см., например, наилучшее в этой сфере издание [3]).
	Сравнение параметрического и непараметрического подходов. Во многих литературных источниках рассматривается параметрическая вероятностная модель метода наименьших квадратов. В ней предполагается, что погрешности имеют нормальное распределение. Это предположение позволяет математически строго получить ряд выводов. Так, распределения статистик вычисляются точно, а не в асимптотике, соответственно вместо квантилей нормального распределения используются квантили распределения Стьюдента, а остаточная сумма квадратов SS делится не на n, а на (n-2). Ясно, что при росте объема данных различия стираются. 
	Рассмотренный выше непараметрический подход не использует нереалистическое предположение о нормальности погрешностей (см. главу 2.1). Плата за это - асимптотический характер результатов. В случае простейшей модели метода наименьших квадратов оба подхода дают практически совпадающие рекомендации. Это не всегда так, не всегда два подхода дают близкие результаты. Напомним, что в задаче обнаружения выбросов методы, опирающиеся на нормальное распределение, нельзя считать обоснованными, и обнаружено было это их свойство с помощью непараметрического подхода (см. главу 2.3).
	Общие принципы. Кратко сформулируем несколько общих принципов построения, описания и использования методов прикладной статистики:
	должны быть четко сформулированы исходные предпосылки, т.е. полностью описана используемая вероятностно-статистическая модель;
	не следует принимать предпосылки, которые редко выполняются на практике;
	алгоритмы расчетов должны быть корректны с точки зрения математико-статистической теории;
	алгоритмы должны давать полезные для практики выводы. 
	Применительно к задаче восстановления зависимостей это означает, что целесообразно применять непараметрический подход, что и сделано выше. Однако предположение нормальности, хотя и очень сильно сужает возможности применения, с чисто математической точки зрения позволяет продвинуться дальше. Поэтому для первоначального изучения ситуации, так сказать, «в лабораторных условиях», нормальная модель может оказаться полезной.
	Пример оценивания по методу наименьших квадратов. Пусть даны n = 6 пар чисел (tk , xk), k = 1, 2, …, 6, представленных во втором и третьем столбцах табл. 6.2. В соответствии с формулами (6.2) и (6.4) выше для вычисления оценок метода наименьших квадратов достаточно найти суммы выражений, представленных во втором, третьем, четвертом и пятом столбцах табл. 6.2.

Таблица 6.2 
Расчет по методу наименьших квадратов
при восстановлении линейной функции одной переменной
i	ti	xi						()2	
(1)	(2)	(3)	(4)	(5)	(6)	(7)	(8)	(9)	
1	1	12	1	12	3,14	12,17	-0,17	0,03	
2	3	20	9	60	9,42	18,45	1,55	2,40	
3	4	20	16	80	12,56	21,59	-1,59	2,53	
4	7	32	49	224	21,98	31,01	0,99	0,98	
5	9	35	81	315	28,26	37,29	-2,29	5,24	
6	10	42	100	420	31,40	40,43	1,57	2,46	
	34	161	256	1111			0,06	13,64	
	5,67	26,83	42,67	185,17					

	В соответствии с формулой (6.2) b* =26,83, а согласно формуле (6.4)

Следовательно, прогностическая формула имеет вид

	Следующий этап анализа данных - оценка точности приближения функции методом наименьших квадратов. Сначала рассматриваются т.н. восстановленные значения

Это те значения, которые полученная в результате расчетов прогностическая функция принимает в тех точках, в которых известны истинные значения зависимой переменной xi . 
	Вполне естественно сравнить восстановленные и истинные значения. Это и сделано в шестом - восьмом столбцах табл. 6.2. Для простоты расчетов в шестом столбце представлены произведения , седьмой отличается от шестого добавлением константы 9,03 и содержит восстановленные значения. Восьмой столбец - это разность третьего и седьмого. 
	Непосредственный анализ восьмого столбца табл. 6.2 показывает, что содержащиеся в нем числа сравнительно невелики по величине по сравнению с третьим столбцом (на порядок меньше по величине). Кроме того, знаки «+» и «-» чередуются. Эти два признака свидетельствуют о правильности расчетов. При использовании метода наименьших квадратов знаки не всегда чередуются. Однако если сначала идут только плюсы, а потом только минусы (или наоборот, сначала только минусы, а потом только плюсы), то это верный показатель того, что в вычислениях допущена ошибка. 
	Верно следующее утверждение.
	Теорема.

	Доказательство этой теоремы оставляем читателю в качестве упражнения. 
	Однако сумма по восьмому столбцу дает 0,06, а не 0. Незначительное отличие от 0 связано с ошибками округления при вычислениях. Близость суммы значений зависимой переменной и суммы восстановленных значений - практический критерий правильности расчетов.
	В последнем девятом столбце табл. 6.2 приведены квадраты значений из восьмого столбца. Их сумма - это остаточная сумма квадратов SS = 13,64. В соответствии со сказанным выше оценками дисперсии погрешностей и их среднего квадратического отклонения являются

	Рассмотрим распределения оценок параметров. Оценка b* имеет асимптотически нормальное распределение с математическим ожиданием b и дисперсией, которая оценивается как 2,27/6=0,38 (здесь считаем, что 6 - «достаточно большое» число, что, конечно, можно оспаривать). Оценкой среднего квадратического отклонения является 0,615. Следовательно, при доверительной вероятности 0,95 доверительный интервал для параметра b имеет вид (26,83 - 1,96.0,615; 26,83 + 1,96.0,615) = (25,625; 28,035).
	В формулах для дисперсий участвует величина

Подставив численные значения, получаем, что

Дисперсия для оценки а* коэффициента при линейном члене прогностической функции оценивается как 2,27/63,1=0,036, а среднее квадратическое отклонение - как 0,19. Следовательно, при доверительной вероятности 0,95 доверительный интервал для параметра а имеет вид (3,14 - 1,96.0,19; 3,14 + 1,96,0,19) = (2,77; 3,51).
	Прогностическая формула с учетом погрешности имеет вид (при доверительной вероятности 0,95)

В этой записи сохранено происхождение различных составляющих. Упростим:

Например, при t = 12 эта формула дает

Следовательно, нижняя доверительная граница - это 44,095, а верхняя доверительная граница - это 49,325.
	Насколько далеко можно прогнозировать? 
	Обычный ответ таков - до тех пор, пока сохраняется тот стабильный комплекс условий, при котором справедлива рассматриваемая зависимость. Изобретатель метода наименьших квадратов Карл Гаусс исходил из задачи восстановления орбиты астероида (малой планеты) Церера. Движение подобных небесных тел может быть рассчитано на сотни лет. А вот параметры комет (например, срок возвращения) не поддаются столь точному расчету, поскольку за время пребывания в окрестности Солнца сильно меняется масса кометы. В социально-экономической области горизонты надежного прогнозирования еще менее определены. В частности, они сильно зависят от решений центральной власти.
	Чтобы выявить роль погрешностей в прогностической формуле, рассмотрим формальный предельный переход  Тогда слагаемые 9,03; 1/6; 5,67 становятся бесконечно малыми, и 

Таким образом, погрешности составляют около 

от тренда (математического ожидания) прогностической функции. В социально-экономических исследованиях подобные погрешности считаются вполне приемлемыми.

6.3. Основы линейного регрессионного анализа

	Метод наименьших квадратов, рассмотренный в простейшем случае, допускает различные обобщения. Например, метод наименьших квадратов дает алгоритм расчетов, если исходные данные – по-прежнему набор n пар чисел (tk , xk), k = 1,2,…,n, где tk – независимая переменная (например, время), а xk – зависимая (например, индекс инфляции), а восстанавливать надо не линейную зависимость, а квадратическую:

Следует рассмотреть функцию трех переменных

Оценки метода наименьших квадратов - это такие значения параметров a*, b* и с*, при которых функция  f(a,b,с) достигает минимума по всем значениям аргументов. Чтобы найти эти оценки, надо вычислить частные производные от функции f(a,b,с) по аргументам a, b и с, приравнять их 0, затем из полученных уравнений найти оценки: Имеем:

Приравнивая частную производную к 0, получаем линейное уравнение относительно трех неизвестных параметров a,b,c:

Приравнивая частную производную по параметру b к 0, аналогичным образом получаем уравнение

Наконец, приравнивая частную производную по параметру с к 0, получаем уравнение

Решая систему трех уравнений с тремя неизвестными, находим оценки метода наименьших квадратов. 
	Другие задачи, рассмотренные в предыдущем подразделе (доверительные границы для параметров и прогностической функции и др.), также могут быть решены. Соответствующие алгоритмы более громоздки. Для их записи полезен аппарат матричной алгебры. Для реальных расчетов используют соответствующие компьютерные программы. 
	Раздел прикладной статистики, посвященный восстановлению зависимостей, называется регрессионным анализом. Термин «линейный регрессионный анализ» используют, когда рассматриваемая функция линейно зависит от оцениваемых параметров (от независимых переменных зависимость может быть произвольной). Теория оценивания неизвестных параметров хорошо развита именно в случае линейного регрессионного анализа. Если же линейности нет и нельзя перейти к линейной задаче, то, как правило, хороших свойств от оценок ожидать не приходится.
	Продемонстрируем подходы в случае зависимостей различного вида. Если зависимость имеет вид многочлена (полинома)

то коэффициенты многочлена могут быть найдены путем минимизации функции

Функция от t не обязательно должна быть многочленом. Можно, например, добавить периодическую составляющую, соответствующую сезонным колебаниям. Хорошо известно, например, что инфляция (рост потребительских цен) имеет четко выраженный годовой цикл. А именно, в среднем цены быстрее всего растут зимой, в декабре - январе, а медленнее всего (иногда в среднем даже падают) летом, в июле - августе. Пусть для определенности

тогда неизвестные параметры могут быть найдены путем минимизации функции

	Пусть I(t) -индекс инфляции в момент t. Принцип стабильности условий приводит к гипотезе о постоянстве темпов роста средних цен, т.е. индекса инфляции. Таким образом, естественная модель для индекса инфляции - это

Эта модель не является линейной, метод наименьших квадратов непосредственно применять нельзя. Однако если прологарифмировать обе части предыдущего равенства:

то получим линейную зависимость, рассмотренную выше.
	Независимых переменных может быть не одна, а несколько. Пусть, например, по исходным данным требуется оценить неизвестные параметры a и b в зависимости

где  - погрешность. Это можно сделать, минимизируя функцию

	Зависимость от х и у не обязательно должна быть линейной. Предположим, что из каких-то соображений известно, что зависимость должна иметь вид

тогда для оценки пяти параметров необходимо минимизировать функцию

	Более подробно рассмотрим пример из микроэкономики. В одной из оптимизационных моделей поведения фирмы используется т.н. производственная функция f(K,L), задающая объем выпуска в зависимости от затрат капитала K и труда L. В качестве конкретного вида производственной функции часто используется так называемая функция Кобба-Дугласа

Однако откуда взять значения параметров  и ? Естественно предположить, что они - одни и те же для предприятий отрасли. Поэтому целесообразно собрать информацию ,где fk - объем выпуска на k-ом предприятии, Kk- объем затрат капитала на k-ом предприятии, Lk - объем затрат труда на k-ом предприятии (в кратком изложении не пытаемся дать точных определений используемым понятиям из экономики предприятия). По собранной информации естественно попытаться оценить параметры  и . Но они входят в зависимость нелинейно, поэтому сразу применить метод наименьших квадратов нельзя. Помогает логарифмирование:

Следовательно, целесообразно сделать замену переменных

а затем находить оценки параметров  и , минимизируя функцию

	Найдем частные производные:

Приравняем частные производные к 0, сократим на 2, раскроем скобки, перенесем свободные члены вправо. Получим систему двух линейных уравнений с двумя неизвестными:

Таким образом, для вычисления оценок метода наименьших квадратов необходимо найти пять сумм

Для упорядочения расчета этих сумм может быть использована таблица типа той, что применялась выше. Отметим, что рассмотренная в предыдущем подразделе постановка переходит в разбираемую сейчас при .
	Подходящая замена переменных во многих случаях позволяет перейти к линейной зависимости. Например, если

то замена z=1/y приводит к линейной зависимости z = a + bx. Если y=(a+bx)2, то замена  приводит к линейной зависимости z = a + bx. 
	Основной показатель качества регрессионной модели. Одни и те же данные можно обрабатывать различными способами. На первый взгляд, показателем отклонений данных от модели может служить остаточная сумма квадратов SS. Чем этот показатель меньше, тем приближение лучше, значит, и модель лучше описывает реальные данные. Однако это рассуждение годится только для моделей с одинаковым числом параметров. Ведь если добавляется новый параметр, по которому можно минимизировать, то и минимум, как правило, оказывается меньше.
	В качестве основного показателя качества регрессионной модели используют оценку остаточной дисперсии 

скорректированную на число m параметров, оцениваемых по наблюдаемым данным. В случае задачи восстановления линейной функции одной переменной, рассмотренной в предыдущем подразделе, оценка остаточной дисперсии имеет вид

поскольку число оцениваемых параметров m=2. 
	Почему эта формула отличается от приведенной в предыдущем подразделе? Там в знаменателе n, а здесь - (n-2). Дело в том, что там была рассмотрена непараметрическая теория при большом объеме данных (при . А при безграничном возрастании n разница между n и (n-2) сходит на нет. 
	Однако при подборе вида модели знаменатель дроби, оценивающей остаточную дисперсию, приходится корректировать на число параметров. Если этого не делать, придется заключить: всегда многочлен второй степени лучше соответствует данным, чем линейная функция, многочлен третьей степени лучше приближает исходные данные, чем многочлен второй степени, и т.д. В конце концов доходим до многочлена степени (n-1) с n коэффициентами, который проходит через все заданные точки. Но его прогностические возможности, скорее всего, существенно меньше, чем у линейной функции. Излишнее усложнение статистических моделей вредно.
	Типовое поведение скорректированной оценки остаточной дисперсии

в зависимости от параметра m в случае расширяющейся системы моделей выглядит так. Сначала наблюдаем заметное убывание. Затем оценка остаточной дисперсии колеблется около некоторой константы (теоретического значения дисперсии погрешности).
	Поясним ситуацию на примере модели восстановления зависимости, выраженной многочленом:

Пусть эта модель справедлива при  При  в скорректированной оценке остаточной дисперсии учитываются не только погрешности измерений, но и соответствующие (старшие) члены многочлена (предполагаем, что коэффициенты при них отличны от 0). При  имеем

Следовательно, скорректированная оценка остаточной дисперсии будет колебаться около указанного предела. Поэтому в качестве оценки неизвестной статистику степени многочлена (полинома) можно использовать первый локальный минимум скорректированной оценки остаточной дисперсии, т.е.

	Найдено предельное распределение этой оценки степени многочлена.
	Теорема. При справедливости некоторых условий регулярности

где

	Таким образом, предельное распределение оценки m* степени многочлена (полинома) является геометрическим. Это означает, в частности, что оценка не является состоятельной. При этом вероятность получить меньшее значение, чем истинное, исчезающе мала. Далее имеем:

	Разработаны и иные методы оценивания неизвестной степени многочлена, например, путем многократного применения процедуры проверки адекватности регрессионной зависимости с помощью статистики Фишера. Предельное поведение оценок - таково же, как в приведенной выше теореме, только значение параметра  иное.
	Пример практического использования линейного регрессионного анализа. Руководитель маркетинговой службы завода ГАРО (г. Великий Новгород) А.А. Пивень применил его для построения математической модели рынка легковых подъемников. Требуется выявить факторы (показатели), оказывающие наибольшее влияние на объем продаж подъемников, найти зависимость объема продаж от этих факторов и использовать эту зависимость для прогнозирования объема продаж.
	Зависимая переменная – объем продаж V, независимые переменные:
	- грузоподъемность (X1), 
	- цена (X2)
	- наличие напольной рамы (X3),
	- наличие синхронизации (X4),
	- количество двигателей (X5), 
	- суммарная мощность двигателей (X6),
	- высота подхвата в нижнем положении (X7),  
	- максимальная высота подъема (X8), 
	- скорость подъема (X9), 
	- гарантийный срок (X10),
	- срок службы (X11), 
	- время на рынке (X12), 
	- внешний вид (X13),
	- срок поставки (X14), 
	- уровень сервисного обслуживания (X15),
	- наличие системы смазки (X16), 
	- масса (X17).
	Для восстановления зависимости использовалась линейная регрессионная модель. По результатам пошагового анализа из рассмотрения последовательно исключались независимые переменные (параметры подъемника), имеющие (в линейной модели) коэффициенты, незначимо отличающиеся от нуля, иными словами, мало отличающиеся в сравнении с их дисперсией. Для этого использовался пакет STATISTICA 6.0, конкретно модуль «Множественная регрессия» (Multiple regression).
	В результате расчетов получена зависимость объема продаж подъемника П3-Т от 12 факторов:
V = - 1769,77 – 65,09 X1 – 0,03 X2 + 68,79 X3 + 147,54 X4 
+ 156,28 X5 + 2,53 X7 + 1,06 X8  + 25,75 X12 
- 132,26 X13 – 12,41 X14 + 107,78 X15 + 397 X16.
Влияние остальных пяти факторов оказалось незначимым.
	Исходя из расчетов, прогнозное значение продаж подъемников на второй год продаж составит ориентировочно 1010 шт. С вероятностью 95% можно утверждать, что объем продаж будет лежать в границах [695, 1332] шт.
	Оценивание условного математического ожидания. Рассмотрим общее понятие регрессии как условного математического ожидания. Пусть случайный вектор  имеет плотность p(x,y). Как известно из любого курса теории вероятностей, плотность условного распределения  при условии  имеет вид

Условное математическое ожидание, т.е. регрессионная зависимость y от x, имеет вид

Таким образом, для нахождения оценок регрессионной зависимости достаточно найти оценки совместной плотности распределения вероятности  такие, что 

при  Тогда непараметрическая оценка регрессионной зависимости

при  является состоятельной оценкой регрессии как условного математического ожидания

Общий подход к построению непараметрических оценок плотности распределения вероятностей развит в главе 2.5 выше.
	Регрессионному анализу (т.е. методам восстановления зависимостей) посвящена огромная литература. Он хорошо представлен в программных продуктах по анализу данных, особенно та его часть, которая связана с методом наименьших квадратов. Обзор современных методов и моделей дан в учебнике [4].
	Когда догоним? Рассмотрим практически важную задачу об оценивании точки пересечения двух регрессионных прямых. Пусть зависимость от времени t некоторого показателя качества x1(t) продукции нашего предприятия описывается линейной функцией
x1(t) = a1t + d1.
Пусть аналогичный показатель у конкурента также описывается линейной функцией, но с другими параметрами:
x2(t) = a2t + d2.
	Предположим, что мы находимся в положении догоняющей стороны. Это значит, что в рассматриваемый момент времени t0 (например, «сегодня») значение показателя качества у нашей продукции ниже:
x1(t0) < x2(t0),
но темп роста у нас выше, чем у конкурента:
a1 > a2.
	Возникает естественный вопрос – когда мы догоним конкурента? Другими словами, в какой момент времени x1(t) = x2(t)? Решая относительно t уравнение 
a1t + d1 = a2t + d2,
получаем, что встреча произойдет в момент
.
	Представляют интерес еще две величины. Во-первых, уровень качества, при котором мы сравняемся с конкурентом, т.е. общий уровень качества в момент встречи:
.
Во вторых, временной лаг, т.е. величина нашего отставания в рассматриваемый момент времени t0. В какой (более ранний) момент времени tk конкурент имел тот уровень качества, которого мы достигли сейчас? Для ответа на этот вопрос надо решить уравнение
x2(t) = x1(t0).
Решением является
.
Следовательно, мы отстаем на

единиц времени (лет).
	Вероятностно-статистическая модель в задаче о точке встречи. В реальных ситуациях линейные зависимости неизвестны. Однако известны исходные данные , для нашего предприятия и , для предприятия-конкурента. При этом значения показателя качества x1(ti1) = xi1 у нашего предприятия в моменты времени ti1 представляются в виде  
x1(ti1) = xi1 = a1ti1 + d1+ ei1, i = 1, 2, …, n(1),
где коэффициенты a1 и d1 неизвестны статистику, а ei1 – погрешности измерения (невязки). Как и ранее в разделе 6.2, будем считать, что ei1, i = 1, 2, …, n(1), - совокупность независимых одинаково распределенных случайных величин с нулевым математическим ожиданием и дисперсией неизвестной статистику.
	Для предприятия-конкурента справедливо аналогичное представление
x2(tj2) = xj2 = a2tj2 + d2+ ej2, j = 1, 2, …, n(2),
где коэффициенты a2 и d2 неизвестны статистику, а ej2 – погрешности измерения (невязки). Примем, что ej2, j = 1, 2, …, n(2), - совокупность независимых одинаково распределенных случайных величин с нулевым математическим ожиданием и дисперсией  неизвестной статистику. 
	Примем, что две совокупности случайных величин ei1, i = 1, 2, …, n(1), и ej2, j = 1, 2, …, n(2), независимы между собой. В каждой совокупности случайные величины одинаково распределены, но функции распределения, соответствующие разным совокупностям (т.е. нашему предприятию и предприятию-конкуренту), могут различаться между собой. Как и в разделе 6.2, не предполагаем, что эти функции распределения входят в какое-либо параметрическое семейство распределений (в частности, не предполагаем, что невязки имеют нормальное распределение). Это и значит, что рассматривается непараметрическая постановка. Однако считаем, что объемы данных n(1) и n(2) достаточно велики, так что можно применять центральную предельную теорему и приближать совместное распределение оценок метода наименьших квадратов с помощью многомерного нормального распределения.
	Итак, решение задачи о точке встречи получим в рамках непараметрической вероятностно-статистической модели.
	Метод решения задачи о встрече. Вместо неизвестных статистику зависимостей x1(t) и x2(t) будем использовать их оценки  и , полученные методом наименьших квадратов. Для этого необходимо оценить коэффициенты по правилам, полученным в разделе 6.2, а затем рассчитать оценки момента встречи , уровня качества в момент встречи  и временного лага (величины отставания)
, 
используя оценки коэффициентов зависимостей x1(t) и x2(t) вместо неизвестных истинных коэффициентов. 
	Полезным является, как и в разделе 6.2, использование центрирования средними значениями независимой переменной при параметризации зависимостей:
x1(t) = a1(t - tср(1)) + b1 = a1t + d1,
x2(t) = a2(t - tср(2)) + b2 = a2t + d2,
где 
,
.
Связано это с тем, что асимптотическое описание совместного распределения коэффициентов линейной зависимости проще в случае центрированной зависимости, в частности, оценки коэффициентов  асимптотически независимы (см. раздел 6.2).
	Оценки метода наименьших квадратов имеют вид
.
	Точечные оценки момента встречи , уровня качества в момент встречи  и временного лага L* выражаются через оценки коэффициентов линейных зависимостей так:
,
,
.
	Из приведенных формул вытекает, что

где

,
.
Поскольку все входящие в полученные формулы моменты времени предполагаются заданными (детерминированными), то интересующие нас оценки задаются гладкими функциями от четырехмерного вектора  оценок метода наименьших квадратов коэффициентов в линейных зависимостях. 
	Асимптотическое распределение вектора оценок МНК. Как показано в разделе 6.2,  являются несмещенными, их дисперсии таковы: 
.
Отметим, что в соответствии с принятыми предположениями все четыре дисперсии стремятся к 0 при безграничном росте n(1) и n(2).
	Все ковариации вектора  равны 0. Для пар координат с различающимися нижними индексами это вытекает из предположения о независимости между собой совокупностей невязок, соответствующим измерениям значений двух разных линейных функций. Для пар координат с одинаковыми нижними индексами, т.е. для пар  и , это установлено в подразделе «Асимптотическое распределение прогностической функции» раздела 6.2. Таким образом, в ковариационной матрице вектора  отличны от 0 только элементы, стоящие на главной диагонали, т.е. дисперсии.
	Каждый из векторов  и  является суммой n(1) и n(2) слагаемых соответственно. Если каждое из слагаемых мало по сравнению со всей суммой, т.е. если 
,
то при больших n(1) и n(2) распределение вектора  приближается нормально распределенным случайным вектором с независимыми координатами. Математические ожидания и дисперсии координат приближающего вектора совпадают с одноименными характеристиками вектора . Другими словами, вектор  является асимптотически нормальным с указанными выше параметрами. 
	Распределение функции от вектора оценок МНК. Если функция  достаточно гладкая, то согласно методу линеаризации (см. раздел 14.4) 

с точностью до бесконечно малых величин более высокого порядка. 
	Как показано выше, правая часть последней формулы приближается суммой четырех независимых нормально распределенных величин с нулевыми математическими ожиданиями. Следовательно, функция  от вектора оценок МНК является асимптотически нормальной случайной величиной с математическим ожиданием , совпадающим с теоретическим значением, и дисперсией 

Подставив приведенные выше значения дисперсий, получаем, что

	Асимптотическое распределение момента встречи. Начнем с функции .  Имеем:
,
,
,
.
	В приведенных выше формулах частные производные можно брать как в точке , так и в точке . Различение – бесконечно малые величины более высокого порядка. Поскольку истинные значения коэффициентов линейных зависимостей неизвестны, частные производные будем брать в точке .
	Из последних формул с помощью несложных преобразований получаем, что

Для практического применения полученных результатов остается заменить неизвестные дисперсии невязок  и  на их состоятельные оценки. Как показано в разделе 6.2, при больших объемах данных n(1) и n(2) используют оценки дисперсий невязок
,
где SS(1) и SS(2) – соответствующие остаточные суммы квадратов. В соответствии с рассуждениями начала настоящего раздела можно порекомендовать применение несмещенных оценок дисперсий невязок
.
Ясно, что с ростом объемов данных n(1) и n(2) различие между двумя последними формулами исчезает.
	Доверительное оценивание и проверка гипотез в задаче о точке встречи. На основе полученных результатов легко указать методы доверительного оценивания и проверки гипотез для момента встречи tB. Так, асимптотический доверительный интервал, соответствующий доверительной вероятности p, имеет вид
.
Здесь  - только что описанная оценка дисперсии случайной величины tB (с использованием той или иной оценки дисперсий невязок), U(p)- квантиль нормального распределения порядка (1+р)/2, т.е.
,
где - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. 
	Рассмотрим проверку гипотезы H0 о том, что встреча произойдет не позднее чем в заданный момент Т, т.е.
H0: tB < T,
при альтернативной гипотезе
H1: tB > T.
Ясно, что правило принятия решений должно выглядеть так:
.
Пороговое значение K выбирают, задавая уровень значимости : при справедливости простой гипотезы tB = T должно быть справедливо равенство
.
Ясно, что следует принять
,
где - квантиль порядка  стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1.
	Рассмотренная схема проверки гипотез позволяет заключить, что в случае  обгон в намеченные сроки практически наверняка (с вероятностью , близкой к 1) не произойдет. Если же мы хотим выяснить условия гарантированного обгона в заданные сроки, то следует поменять местами гипотезы, в качестве нулевой рассмотреть гипотезу
H0: tB > T,
а в качестве альтернативной - гипотезу
H1: tB < T.
Тогда правило принятия решений будет иметь вид
,
где

в прежних обозначениях. 
	Итак, можно сказать, что при  обгон практически наверняка произойдет в заданные сроки, а при  - практически наверняка не произойдет, в то время как при  ситуация является неопределенной
	По аналогичной схеме можно оценить асимптотические дисперсии оценок уровня качества в момент встречи  и временного лага L* и использовать полученные результаты для доверительного оценивания и проверки гипотез. Поскольку новые идеи при этом не используются, не будем приводить соответствующие выкладки.
	О практическом применении статистических оценок точки встречи. Приведенные выше результаты, касающиеся оценок момента встречи , уровня качества в момент встречи  и временного лага L*, получены в результате решения прикладных проблем, возникших при разработке системы автоматического проектирования (САПР) стандартов на продукцию. В этой системе реализуются функции информационного обеспечения и анализа данных о характеристиках качества группы отечественных и зарубежных образцов (марок, моделей) аналогичной продукции, требований нормативно-технической документации на эту продукцию, а также поддерживаются функции человек0-машинного принятия решений по стандартизации.
	Статистические методы в САПР стандартов используются для анализа распределений показателей качества продукции, исследования взаимосвязей показателей, выявления группировок продукции по уровню качества, анализа временных рядов и прогнозирования качества продукции. Основные проблемы программной реализации этих методов связаны с обеспечением человеко-машинного решения задач пользователями (инженерами по стандартизации и техническому регулированию), не имеющими специальной подготовки по статистическим методам. Кроме того, возникли специфические задачи, требующие совершенствования известного статистического аппарата, в частности, задача сравнительного анализа тенденций развития отечественной и зарубежной групп продукции, решению которой и посвящены предыдущие страницы. Система САПР стандартов реализована в виде пакета прикладных программ, включающего программы статистического анализа уровня качества продукции. Отдельные программы переданы в государственный фонд алгоритмов и программ. Разработанное математическое и программное обеспечение применялось для анализа данных о характеристиках качества изделий электронной техники. Госстандарт отметил их высокую практическую ценность.
	Полученные результаты были развиты В.С. Муравьевой и применены при разработке систем организационно-экономического прогнозирования на промышленных предприятиях. 

6.4. Статистические методы классификации
 
	При внедрении современных статистических методов в практику фундаментальных и прикладных научно-технических, социально-экономических, медицинских и иных исследований, при разработке соответствующих программных продуктов невозможно обойтись без классификации самих этих методов. Естественно исходить из вида обрабатываемых данных. В соответствии с современными воззрениями делим статистические методы и, прежде всего, прикладную статистику на четыре области: - статистика случайных величин (одномерная статистика); многомерный статистический анализ; статистика временных рядов и случайных величин; статистика объектов нечисловой природы. В первой области элемент выборки - число, во второй - вектор, в третьей - функция, в четвертой - объект нечисловой природы. 
	Как известно, математический аппарат статистики объектов нечисловой природы базируется на использовании расстояний (мер близости, показателей различия) в пространствах таких объектов. Это вызвано отсутствием в таких пространствах операций суммирования, на которых основано большинство методов других областей статистики. Любые методы, использующие только расстояния (меры близости, показатели различия) между объектами, следует относить к статистике объектов нечисловой природы, поскольку такие методы могут работать с объектами произвольного пространства, если в нем задана метрика или ее аналоги. Таким образом, весьма многие методы прикладной статистики следует включать в статистику объектов нечисловой природы. 
	В настоящем разделе рассматривается важное направление    статистических методов – математические методы классификации. Значительную их часть следовало бы отнести к статистике объектов нечисловой природы, а именно, методы классификации, основанные на расстояниях между объектами. Однако исторически теория классификации рассматривается в основном в рамках многомерного статистического анализа, поскольку многие ее методы используют специфику конечномерного евклидова пространства. 
	Основные направления в математической теории классификации. Какие научные исследования относить к этой теории? Исходя из потребностей специалиста, применяющего математические методы классификации, целесообразно принять, что сюда входят исследования, во-первых, отнесенные самими авторами к этой теории; во вторых, связанные с ней общностью тематики, хотя бы их авторы и не упоминали термин «классификация». Это предполагает ее сложную внутреннюю структуру.
	В литературных источниках наряду с термином «классификация» в близких смыслах используются термины «группировка», «распознавание образов», «диагностика», «дискриминация», «сортировка» и др. Терминологический разнобой связан прежде всего с традициями научных кланов, к которым относятся авторы публикаций, а также с внутренним делением самой теории классификации.
	В научных исследованиях по современной теории классификации можно выделить два относительно самостоятельных направления. 
	Одно из них опирается на опыт таких наук, как биология, география, геология, и таких прикладных областей, как ведение классификаторов продукции и библиотечное дело. Типичные объекты рассмотрения - классификация химических элементов (таблица Д.И. Менделеева), биологическая систематика, универсальная десятичная классификация публикаций (УДК), классификатор товаров на основе штрих-кодов. 
	Другое направление опирается на опыт технических исследований, экономики, маркетинговых исследований, социологии, медицины. Типичные задачи - техническая и медицинская диагностика, а также, например, разбиение на группы отраслей промышленности, тесно связанных между собой, выделение групп однородной продукции. Обычно используются такие термины, как «распознавание образов» или «дискриминантный анализ». Это направление обычно опирается на математические модели; для проведения расчетов интенсивно используется ЭВМ. Однако относить его к математике столь же нецелесообразно, как астрономию или квантовую механику. Рассматриваемые математические модели можно и нужно изучать на формальном уровне, и такие исследования проводятся. Но направление в целом сконцентрировано на решении конкретных задач прикладных областей и вносит вклад в технические или экономические науки, медицину, социологию, но, как правило, не в математику. Использование математических методов как инструмента исследования нельзя относить к чистой математике.
	В 60-х гг. XX века внутри прикладной статистики достаточно четко оформилась область, посвященная методам классификации. Несколько модифицируя формулировки М. Дж. Кендалла и А. Стьюарта 1966 г. (см. русский перевод [5, с.437]), в теории классификации выделим три подобласти: дискриминация (дискриминантный анализ), кластеризация (кластер-анализ), группировка. Опишем эти подобласти.
	В дискриминантном анализе классы предполагаются заданными - плотностями вероятностей или обучающими выборками. Задача состоит в том, чтобы вновь поступающий объект отнести в один из этих классов. У понятия «дискриминация» имеется много синонимов: диагностика, распознавание образов с учителем, автоматическая классификация с учителем, статистическая классификация и т.д.
	При кластеризации и группировке целью является выявление и выделение классов. Синонимы - построение классификации, распознавание образов без учителя, автоматическая классификация без учителя, типология, таксономия и др. Задача кластер-анализа состоит в выяснении по эмпирическим данным, насколько элементы «группируются» или распадаются на изолированные «скопления», «кластеры». Название происходит от cluster (англ.) - гроздь, скопление. Иными словами, задача - выявление естественного разбиения на классы, свободного от субъективизма исследователя, а цель - выделение групп однородных объектов, сходных между собой, при резком отличии этих групп друг от друга.
	При группировке, наоборот, «мы хотим разбить элементы на группы независимо от того, естественны ли границы разбиения или нет» [5, с.437]. Цель по-прежнему состоит в выявлении групп однородных объектов, сходных между собой (как в кластер-анализе), однако «соседние» группы могут не иметь резких различий (в отличие от кластер-анализа). Границы между группами условны, не являются естественными, зависят от субъективизма исследователя. Аналогично при лесоустройстве проведение просек (границ участков) зависит от специалистов лесного ведомства, а не от свойств леса.
	Задачи кластеризации и группировки принципиально различны, хотя для их решения могут применяться одни и те же алгоритмы. Важная для практической деятельности проблема состоит в том, чтобы понять, разрешима ли задача кластер-анализа для конкретных данных или возможна только их группировка, поскольку совокупность объектов достаточно однородна и не разбивается на резко разделяющиеся между собой кластеры.
	Как правило, в математических задачах кластеризации и группировки основное - выбор метрики, расстояния между объектами, меры близости, сходства, различия. Хорошо известно, что для любого заданного разбиения объектов на группы и любого  > 0 можно указать метрику такую, что расстояния между объектами из одной группы будут меньше , а между объектами из разных групп - больше 1/. Тогда любой разумный алгоритм кластеризации даст именно заданное разбиение.  
	Понимание и обсуждение постановок задач осложняется использованием одного и того же термина в разных смыслах. Термином «классификация» (и термином «диагностика») обозначают, по крайней мере, три разные вещи: процедуру построения классификации (и выделение классов, используемых при диагностике), построенную классификацию (систему выделенных классов) и процедуру ее использования (правила отнесения вновь поступающего объекта к одному из ранее выделенных классов). Другими словами, имеем естественную триаду: построение – изучение – использование классификации.
	Для построения системы диагностических классов используют разнообразные методы кластерного анализа и группировки объектов. Наименее известен второй член триады (отсутствующий у Кендалла и Стьюарта [5]) – изучение отношений эквивалентности, полученных в результате построения системы диагностических классов. Статистический анализ полученных, в частности экспертами, отношений эквивалентности - часть статистики бинарных отношений и тем самым - статистики объектов нечисловой природы (статистики нечисловых данных, нечисловой статистики [6]).  
	Диагностика в узком смысле слова (процедура использования классификации, т.е. отнесения вновь поступающего объекта к одному из выделенных ранее классов) - предмет дискриминантного анализа. С точки зрения статистики объектов нечисловой природы дискриминантный анализ является частным случаем общей схемы регрессионного анализа, соответствующим ситуации, когда зависимая переменная принимает конечное число значений, а именно - номера классов, а вместо квадрата разности стоит функция потерь от неправильной классификации. Однако есть ряд специфических постановок, выделяющих задачи диагностики среди всех регрессионных задач.
	О построении диагностических правил. Начнем с краткого обсуждения одного распространенного заблуждения. Иногда рекомендуют сначала построить систему диагностических классов, а потом в каждом диагностическом классе отдельно проводить регрессионный анализ (в классическом смысле) или применять иные методы многомерного статистического анализа. Однако обычно забывают, что при этом нельзя опираться на вероятностную модель многомерного нормального распределения, так как распределение результатов наблюдений, попавших в определенный кластер, будет отнюдь не нормальным, а усеченным нормальным (усечение определяется границами кластера).
	Процедуры построения диагностических правил делятся на вероятностные и детерминированные. К первым относятся так называемые задачи расщепления смесей. В них предполагается, что распределение вновь поступающего случайного элемента является смесью вероятностных законов, соответствующих диагностическим классам. Как и при выборе степени полинома в регрессии (см. предыдущий подраздел), при анализе реальных социально-экономических данных встает вопрос об оценке числа элементов смеси, т.е. числа диагностических классов. Были изучены результаты применения обычно рекомендуемого критерия Уилкса для оценки числа элементов смеси. Оказалось, что оценка с помощью критерия Уилкса не является состоятельной, асимптотическое распределение этой оценки – геометрическое, как и в случае задачи восстановления зависимости в регрессионном анализе. Итак, продемонстрирована несостоятельность обычно используемых оценок. Для получения состоятельных оценок достаточно связать уровень значимости в критерии Уилкса с объемом выборки, как это было предложено и для задач регрессии [4].
	Задачи построения системы диагностических классов целесообразно разбить на два типа: с четко разделенными кластерами (задачи кластер-анализа) и с условными границами, непрерывно переходящими друг в друга классами (задачи группировки). Такое деление полезно, хотя в обоих случаях могут применяться одинаковые алгоритмы. Сколько же существует алгоритмов построения системы диагностических правил? Иногда называют то или иное число. На самом же деле их бесконечно много, в чем нетрудно убедиться.
	Действительно, рассмотрим один определенный алгоритм - алгоритм средней связи. Он основан на использовании некоторой меры близости d(x,y) между объектами x и у. Как он работает? На первом шаге каждый объект рассматривается как отдельный кластер. На каждом следующем шаге объединяются две ближайших кластера. Расстояние между объектами рассчитывается как средняя связь (отсюда и название алгоритма), т.е. как среднее арифметическое расстояний между парами объектов, один из которых входит в первый кластер, а другой - во второй. В конце концов все объекты объединяются вместе, и результат работы алгоритма представляет собой дерево последовательных объединений (в терминах теории графов), или «Дендрограмму». Из нее можно выделить кластеры разными способами. Один подход - исходя из заданного числа кластеров. Другой - из соображений предметной области. Третий - исходя из устойчивости (если разбиение долго не менялось при возрастании порога объединения – значит, оно отражает реальность). И т.д. 
	К алгоритму средней связи естественно сразу добавить алгоритм ближайшего соседа (когда расстоянием между кластерами называется минимальное из расстояний между парами объектов, один из которых входит в первый кластер, а другой - во второй). А также и алгоритм дальнего соседа (когда расстоянием между кластерами называется максимальное из расстояний между парами объектов, один из которых входит в первый кластер, а другой - во второй). 
	Каждый из трех описанных алгоритмов (средней связи, ближайшего соседа, дальнего соседа), как легко проверить, порождает бесконечное (континуальное) семейство алгоритмов кластер-анализа. Дело в том, что величина da(x,y), a > 0, также является мерой близости между x и у и порождает новый алгоритм. Если параметр а пробегает отрезок, то получается бесконечно много алгоритмов классификации.
	Каким из них пользоваться при обработке данных? Дело осложняется тем, что практически в любом пространстве данных мер близости различных видов существует весьма много. Именно в связи с обсуждаемой проблемой следует указать на принципиальное различие между кластер-анализом и задачами группировки.
	Если классы реальны, естественны, существуют на самом деле, четко отделены друг от друга, то любой алгоритм кластер-анализа их выделит. Следовательно, в качестве критерия естественности классификации следует рассматривать устойчивость относительно выбора алгоритма кластер-анализа.
	Проверить устойчивость можно, применив к данным несколько подходов, например, столь непохожие алгоритмы, как «ближайшего соседа» и «дальнего соседа». Если полученные результаты содержательно близки, то они адекватны действительности. В противном случае следует предположить, что естественной классификации не существует, задача кластер-анализа не имеет решения, и можно проводить только группировку.
	Часто применяется т.н. агломеративный иерархический алгоритм «Дендрограмма», в котором вначале все элементы рассматриваются как отдельные кластеры, а затем на каждом шагу объединяются два наиболее близких кластера. Для работы «Дендрограммы» необходимо задать правило вычисления расстояния между кластерами. Оно вычисляется через расстояние d(x,у) между элементами х и у. Поскольку da(x,y) при 0 < a < 1 также расстояние, то, как правило, существует бесконечно много различных вариантов этого алгоритма. Представим себе, что они применяются для обработки одних и тех же реальных данных. Если при всех а получается одинаковое разбиение элементов на кластеры, т.е. результат работы алгоритма устойчив по отношению к изменению а (в смысле общей схемы устойчивости, рассмотренной в главе 14), то имеем «естественную» классификацию. В противном случае результат зависит от субъективно выбранного исследователем параметра а, т.е. задача кластер-анализа неразрешима (предполагаем, что выбор а нельзя специально обосновать). Задача группировки в этой ситуации имеет много решений. Из них можно выбрать одно по дополнительным критериям.
	Следовательно, получаем эвристический критерий: если решение задачи кластер-анализа существует, то оно находится с помощью любого алгоритма. Целесообразно использовать наиболее простой.  
	Проблема поиска естественной классификации. Существуют различные точки зрения на эту проблему. Естественная классификация обычно противопоставляется искусственной. На Всесоюзной школе-семинаре «Использование математических методов в задачах классификации» (г. Пущино, 1986 г.), в частности, были высказаны мнения, что естественная классификация:
	- закон природы;
	- основана на глубоких закономерностях, тогда как искусственная классификация - на неглубоких;
	- для конкретного индивида та, которая наиболее быстро вытекает из его тезауруса;
	 - удовлетворяет многим целям; цель искусственной классификации задает человек;
	- классификация с точки зрения потребителя продукции;
	- классификация, позволяющая делать прогнозы;
	- имеет критерием устойчивость.
	Приведенные выше высказывания уже дают представление о больших расхождениях в понимании «естественной классификации». Этот термин следует признать нечетким, как, впрочем, и многие другие термины, и профессиональные - социально-экономические, научно-технические, и используемые в обыденном языке. Нетрудно подробно обоснована нечеткость естественного языка и тот факт, что «мы мыслим нечетко», что, однако, не слишком мешает нам решать производственные и жизненные проблемы. Кажущееся рациональным требование выработать сначала строгие определения, а потом развивать науку - невыполнимо. Следовать ему - значит отвлекать силы от реальных задач. При системном подходе к теории классификации становится ясно, что строгие определения можно надеяться получить на последних этапах построения теории. Мы же сейчас находимся чаще всего на первых этапах. Поэтому, не давая определения понятиям «естественная классификация» и «естественная диагностика», обсудим, как проверить на «естественность» классификацию (набор диагностических классов), полученную расчетным путем.
	Можно выделить два критерия «естественности», по поводу которых имеется относительное согласие:
	А. Естественная классификация должна быть реальной, соответствующей действительному миру, лишенной внесенного исследователем субъективизма;
	Б. Естественная классификация должна быть важной или с научной точки зрения (давать возможность прогноза, предсказания новых свойств, сжатия информации и т.д.), или с практической.
	Пусть классификация проводится на основе информации об объектах, представленной в виде матрицы «объект-признак» или матрицы попарных расстояний (мер близости). Пусть алгоритм классификации дал разбиение на кластеры. Как можно получить доводы в пользу естественности этой классификации? Например, уверенность в том, что она - закон природы, может появиться только в результате ее длительного изучения и практического применения. Это соображение относится и к другим из перечисленных выше критериев, в частности к Б (важности). Сосредоточимся на критерии А (реальности).
	Понятие «реальности» кластера требует специального обсуждения. Рассмотрим существо различий между понятиями «классификация» и «группировка». Пусть, к примеру, необходимо деревья, растущие в определенной местности, разбить на группы находящихся рядом друг с другом. Ясна интуитивная разница между несколькими отдельными рощами, далеко отстоящими друг от друга и разделенными полями, и сплошным лесом, разбитым просеками на квадраты с целью лесоустройства. 
	Однако формально определить эту разницу столь же сложно, как определить понятие «куча зерен», чем занимались еще в Древней Греции. Ясно, что одно зерно не составляет кучи, два зерна не составляют кучи,… Если к тому, что не составляет кучи, добавить еще одно зерно, то куча не получится. Значит - по принципу математической индукции - никакое количество зерен не составляет кучи. Но ясно, что миллиард зерен - большая куча зерен - подсчитайте объем!.
	Переформулируем сказанное в терминах «кластер-анализа» и «методов группировки». Выделенные с помощью первого подхода кластеры реальны, а потому могут рассматриваться как кандидаты в «естественные». Группировка дает «искусственные» классы, которые не могут быть «естественными».
	Выборку из унимодального распределения можно, видимо, рассматривать как «естественный», «реальный» кластер. Применим к ней какой-либо алгоритм классификации («средней связи», «ближайшего соседа» и т.п.). Он даст какое-то разбиение на классы, которые, разумеется, не являются «реальными», поскольку отражают прежде всего свойства алгоритма, а не исходных данных. Как отличить такую ситуацию от противоположной, когда имеются реальные кластеры и алгоритм классификации более или менее точно их выделяет? Как известно, «критерий истины – практика», но слишком много времени необходимо для применения подобного критерия. Поэтому представляет интерес критерий, оценивающий «реальность» выделяемых с помощью алгоритма классификации кластеров одновременно с его применением.
	Такой показатель существует - это критерий устойчивости. Устойчивость - понятие широкое. Общая схема формулирования и изучения проблем устойчивости рассмотрена в главе 14. Поскольку значения признаков всегда измеряются с погрешностями, то «реальное» разбиение должно быть устойчиво (т.е. не меняться или меняться слабо) при малых отклонениях исходных данных. Алгоритмов классификации существует бесконечно много, и «реальное» разбиение должно быть устойчиво по отношению к переходу к другому алгоритму. Другими словами, если «реальное» разбиение на классы возможно, то оно находится с помощью любого алгоритма автоматической классификация. Следовательно, критерием естественности классификации может служить совпадение результатов работы двух достаточно различающихся алгоритмов, например «ближайшего соседа» и «дальнего соседа».
	Выше рассмотрены два типа «глобальных» критериев «естественности классификации», касающихся разбиения в целом. «Локальные» критерии относятся к отдельным кластерам. Простейшая постановка такова: достаточно ли однородны два кластера (две совокупности) для их объединения:? Если объединение возможно, то кластеры не являются «естественными». Преимущество этой постановки в том, что она допускает применение статистических критериев однородности двух выборок. В одномерном случае (классификация по одному признаку) разработано большое число подобных критериев — Крамера-Уэлча, Смирнова, омега-квадрат (Лемана-Розенблатта), Вилкоксона, Ван-дер-Вардена, Лорда, Стьюдента и др. (см. главу 5 и справочник [3]). Имеются критерии и для многомерных данных. Для одного из видов объектов нечисловой природы - люсианов - статистические методы выделения «реальных» кластеров развиты в работе [6].
	Что касается глобальных критериев, то для изучения устойчивости по отношению к малым отклонениям исходных данных естественно использовать метод статистических испытаний и проводить расчеты по «возмущенным» данным. Некоторые теоретические утверждения, касающиеся влияния «возмущений» на кластеры различных типов, получены в работе [7].
	Опишем практический опыт реализации анализа устойчивости. Несколько алгоритмов классификации были применены к данным, полученным при проведении маркетинга образовательных услуг. Для анализа данных были использованы широко известные алгоритмы «ближайшего соседа», «дальнего соседа» и алгоритм кластер-анализа из работы Куперштоха B.JI., Миркина Б.Г. и Трофимова В.А. С содержательной точки зрения полученные разбиения отличались мало. Поэтому есть основания считать, что с помощью этих алгоритмов действительно выявлена «реальная» структура данных.
	Идея устойчивости как критерия «реальности» иногда реализуется неадекватно. Так, для однопараметрических алгоритмов иногда предлагают выделять разбиения, которым соответствуют наибольшие интервалы устойчивости по параметру, т.е. наибольшие приращения параметра между очередными объединениями кластеров. Для данных, полученных при проведении маркетинга образовательных услуг, это предложение не дало полезных результатов - были получены различные разбиения: три алгоритма - три разбиения. И с теоретической точки зрения предложение этого специалиста несостоятельно. Покажем это.
	Действительно, рассмотрим алгоритм «ближайшего соседа», использующий меру близости d(x,у), и однопараметрическое семейство алгоритмов с мерой близости da(x,y), а > 0, также являющихся алгоритмами «ближайшего соседа». Тогда дендрограммы, полученные с помощью этих алгоритмов, совпадают при всех a, поскольку при их реализации происходит лишь сравнение мер близости между объектами. Дендрограмма, полученная с помощью алгоритма «ближайшего соседа», является адекватной в порядковой шкале (измерения меры близости d(x,у)), т.е. сохраняется при любом строго возрастающем преобразовании этой меры. Однако выделенные по обсуждаемому методу «устойчивые разбиения» меняются. При достаточно большом а «наиболее объективным» в соответствии с рассматриваемым предложением будет, как нетрудно показать, разбиение на два кластера! Таким образом, разбиение, выдвинутое им как «устойчивое», на самом деле оказывается весьма неустойчивым.
	Рассмотрим с позиций прикладной статистики несколько конкретных вопросов теории классификации.
	Вероятностная теория кластер-анализа. Как и для прочих статистических методов, свойства алгоритмов кластер-анализа необходимо изучать на вероятностных моделях. Это касается, например, условий естественного объединения двух кластеров.  
	Вероятностные постановки нужно применять при перенесении результатов, полученных по выборке, на генеральную совокупность. Вероятностная теория кластер-анализа и методов группировки различна для исходных данных типа таблиц «объект  признак» и матриц сходства. Для первых параметрическая вероятностно-статистическая теория называется «расщеплением смесей». Непараметрическая теория основана на непараметрических оценках плотностей вероятностей и их мод. Основные результаты, связанные с непараметрическими оценками плотности, обсуждались в главе 2.5.
	Если исходные данные - матрица сходства ||d(x,y)||, то необходимо признать, что развитой вероятностно-статистической теории пока нет. Подходы к ее построению намечены в работе [7]. Одна из основных проблем - проверка «реальности» кластера, его объективного существования независимо от расчетов исследователя. Проблема «реальности» кластера давно обсуждается специалистами различных областей. Типичное рассуждение таково. Предположим, что результаты наблюдений можно рассматривать как выборку из некоторого распределения с монотонно убывающей плотностью при увеличении расстояния от некоторого центра. Примененный к подобным данным какой-либо алгоритм кластер-анализа порождает некоторое разбиение. Ясно, что оно - чисто формальное, поскольку выделенным таксонам (кластерам) не соответствуют никакие «реальные» классы. Другими словами, задача кластер-анализа не имеет решения, а алгоритм дает лишь группировку. При обработке реальных данных мы не знаем вида плотности. Проблема состоит в том, чтобы определить, каков результат работы алгоритма (реальные кластеры или формальные группы).
	Частный случай этой проблемы - проверка обоснованности объединения двух кластеров, которые мы рассматриваем как два множества объектов, а именно, множества {a1, a2,…, ak} и {b1, b2,…, bm}. Пусть, например, используется алгоритм типа «Дендрограмма». Естественной представляется следующая идея. Пусть есть две совокупности мер близости. Одна - меры близости между объектами, лежащими внутри одного кластера, т.е. d(ai, aj), 1 < i < j < k, - внутри первого кластера, и d(b, b), 1 <  <  < m, - внутри  второго. Другая совокупность - меры близости между объектами, лежащими в разных кластерах, т.е. d(ai ,b), 1 < i < k, 1 <  < m. Эти две совокупности мер близости предлагается рассматривать как независимые выборки и проверять гипотезу о совпадении их функций распределения. Если гипотеза не отвергается, объединение кластеров считается обоснованным; в противном случае - объединять нельзя, алгоритм прекращает работу.  
	В рассматриваемом подходе есть две некорректности (см. также работу [7, разд.4]). 
	Во-первых, меры близости не являются независимыми случайными величинами. 
	Во-вторых, не учитывается, что объединяются не заранее фиксированные кластеры (с детерминированным составом), а полученные в результате работы некоторого алгоритма, и их состав (в частности, количество элементов) оказывается случайным. 
	От первой из этих некорректностей можно частично избавиться. Справедливо следующее утверждение.
	Теорема 1. Пусть a1, a2,…, ak, b1, b2,…, bm - независимые одинаково распределенные случайные величины (со значениями в произвольном пространстве). Пусть случайная величина d(а1, а2) имеет все моменты. Тогда при k, т  распределение статистики
 
(где U - сумма рангов элементов первой выборки в объединенной выборке; первая выборка составлена из внутрикластерных расстояний (мер близости) d(ai, aj), 1 < i < j < k, и d(b, b), 1 <  <  < m, а вторая - из межкластерных расстояний d(ai ,b), 1 < i < k, 1 <  < m) сходится к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1.
	На основе теоремы 1 очевидным образом формулируется правило проверки обоснованности объединения двух кластеров. Другими словами, мы проверяем статистическую гипотезу, согласно которой объединение двух кластеров образует однородную совокупность. Если величина U слишком мала, статистическая гипотеза однородности отклоняется (на заданном уровне значимости), и возможность объединения отбрасывается. Таким образом, хотя расстояния между объектами в кластерах зависимы, но эта зависимость слаба, и доказана математическая теорема 1 о допустимости применения критерия Вилкоксона для проверки возможности объединения кластеров. 
	О вычислительной сходимости алгоритмов кластер-анализа. Алгоритмы кластер-анализа и группировки зачастую являются итерационными. Например, формулируется правило улучшения решения задачи кластер-анализа шаг за шагом, но момент остановки вычислений не обсуждается. Примером является известный алгоритм «Форель», в котором постепенно улучшается положение центра кластера. В этом алгоритме на каждом шаге строится шар определенного заранее радиуса, выделяются элементы кластеризуемой совокупности, попадающие в этот шар, и новый центр кластера строится как центр тяжести выделенных элементов. При анализе алгоритма «Форель» возникает проблема: завершится ли процесс улучшения положения центра кластера через конечное число шагов или же он может быть бесконечным. Она получила название «проблема остановки». Для широкого класса так называемых «эталонных алгоритмов» проблема остановки была решена в работе [7]: процесс улучшения остановится через конечное число шагов. 
	Алгоритмы кластер-анализа могут быть модифицированы разнообразными способами. Например, описывая алгоритм «Форель» в стиле статистики объектов нечисловой природы, заметим, что вычисление центра тяжести для совокупности многомерных точек – это нахождение эмпирического среднего для меры близости, равной квадрату евклидова расстояния. Если взять более естественную меру близости – само евклидово расстояние, то получим алгоритм кластер-анализа «Медиана», отличающийся от «Форели» тем, что новый центр строится не с помощью средних арифметических координат элементов, попавших в кластер, а с помощью медиан. 
	Проблема остановки возникает не только при построении диагностических классов. Она принципиально важна, в частности, и при оценивании параметров вероятностных распределений методом максимального правдоподобия. Обычно не представляет большого труда выписать систему уравнений максимального правдоподобия и предложить решать ее каким-либо численным методом. Однако когда остановиться, сколько итераций сделать, какая точность оценивания будет при этом достигнута? Общий ответ, видимо, невозможно найти, но обычно нет ответа и для конкретных семейств распределения вероятностей. Именно поэтому  нет оснований рекомендовать решать системы уравнений максимального правдоподобия. Вместо них целесообразно использовать т.н. одношаговые оценки (подробнее см. об этих оценках главу 3.2). Эти оценки задаются конечными формулами, но асимптотически столь же хороши (на профессиональном языке - эффективны), как и оценки максимального правдоподобия.
	О сравнении алгоритмов диагностики по результатам обработки реальных данных. Перейдем к этапу применения диагностических правил, когда классы, к одному из которых нужно отнести вновь поступающий объект, уже выделены.
	В прикладных исследованиях применяют различные методы дискриминантного анализа, основанные на вероятностно-статистических моделях, а также с ними не связанные, т.е. эвристические, использующие детерминированные методы анализа данных. Независимо от «происхождения», каждый подобный алгоритм должен быть исследован как на параметрических и непараметрических вероятностно-статистических моделях порождения данных, так и на различных массивах реальных данных. Цель исследования - выбор наилучшего алгоритма в определенной области применения, включение его в стандартные программные продукты, методические материалы, учебные программы и пособия. Но для этого надо уметь сравнивать алгоритмы по качеству. Как это делать?
	Часто используют такой показатель качества алгоритма диагностики, как «вероятность правильной классификации» (при обработке конкретных данных - «частота правильной классификации»). Чуть ниже мы покажем, что этот показатель качества некорректен, а потому пользоваться им не рекомендуется. Целесообразно применять другой показатель качества алгоритма диагностики - оценку специального вида т.н. «расстояния Махаланобиса» между классами. Изложение проведем на примере разработки программного продукта для специалистов по диагностике материалов. Прообразом является диалоговая система «АРМ материаловеда», разработанная Институтом высоких статистических технологий и эконометрики для ВНИИ эластомерных материалов.
	При построении информационно-исследовательской системы диагностики материалов (ИИСДМ) возникает задача сравнения прогностических правил «по силе». Прогностическое правило - это алгоритм, позволяющий по характеристикам материала прогнозировать его свойства. Если прогноз дихотомичен («есть» или «нет»), то правило является алгоритмом диагностики, при котором материал относится к одному из двух классов. Ясно, что случай нескольких классов может быть сведен к конечной последовательности  выбора между двумя классами.
	Прогностические правила могут быть извлечены из научно-технической литературы и практики. Каждое из них обычно формулируется в терминах небольшого числа признаков, но наборы признаков сильно меняются от правила к правилу. Поскольку в ИИСДМ должно фиксироваться лишь ограниченное число признаков, то возникает проблема их отбора. Естественно отбирать лишь те их них, которые входят в наборы, дающие наиболее «надежные» прогнозы. Для придания точного смысла термину «надежный» необходимо иметь способ сравнения алгоритмов диагностики по прогностической «силе».
	Результаты обработки реальных данных с помощью некоторого алгоритма диагностики в рассматриваемом случае двух классов описываются долями: правильной диагностики в первом классе ; правильной диагностики во втором классе ; долями классов в объединенной совокупности 
	При изучении качества алгоритмов классификации их сравнивают по результатам дискриминации вновь поступающей контрольной выборки. Именно по контрольной выборке определяются величины . Однако иногда вместо контрольной используют обучающую выборку, т.е. указанные величины определяются ретроспективно, в результате анализа уже имеющихся данных. Обычно это связано с трудоемкостью получения данных. Тогда κ и λ зависимы. Однако в случае, когда решающее правило основано на использовании дискриминантной поверхности, параметры которой оцениваются по обучающим выборкам, величины κ и λ асимптотически (при безграничном росте объемов выборок) независимы [7], что позволяет использовать приводимые ниже результаты и в этом случае. 
	Нередко как показатель качества алгоритма диагностики (прогностической «силы») используют долю правильной диагностики

	Однако показатель  определяется, в частности, через характеристики  и , частично заданные исследователем (например, на них влияет тактика отбора образцов для изучения). В аналогичной медицинской задаче величина  оказалась больше для тривиального прогноза, согласно которому у всех больных течение заболевания будет благоприятно. Тривиальный прогноз сравнивался с алгоритмом выделения больных с прогнозируемым тяжелым течением заболевания. Он был разработан группы под руководством академика АН СССР И.М. Гельфанда. Применение этого алгоритма с медицинской точки зрения вполне оправдано.
	Другими словами, по доле правильной классификации алгоритм академика И.М. Гельфанда оказался хуже тривиального - объявить всех больных легкими, не требующими специального наблюдения. Этот вывод очевидно нелеп. И причина появления нелепости вполне понятна. Хотя доля тяжелых больных невелика, но смертельные исходы сосредоточены именно в этой группе больных. Поэтому целесообразна гипердиагностика - рациональнее часть легких больных объявить тяжелыми, чем сделать ошибку в противоположную сторону. Применение теории статистических решений в рассматриваемой постановке вряд ли возможно, поскольку оценить количественно потери от смерти больного нельзя по этическим соображениям. Поэтому долю правильной диагностики  нецелесообразно использовать как показатель качества алгоритма диагностики.
	Применение теории статистических решений требует знания потерь от ошибочной диагностики, а в большинстве научно-технических и экономических задач определить потери, как уже отмечалось, сложно. В частности, из-за необходимости оценивать человеческую жизнь в денежных единицах. По этическим соображениям это недопустимо. Сказанное не означает отрицания пользы страхования, но, очевидно, страховые выплаты следует рассматривать лишь как способ первоначального смягчения потерь от утраты близких.
	Для выявления информативного набора признаков целесообразно использовать метод пересчета на модель линейного дискриминантного анализа, согласно которому статистической оценкой прогностической «силы» является

где  - функция стандартного нормального распределения вероятностей с математическим ожиданием 0 и дисперсией 1, а  - обратная ей функция.
	Пример 1. Если доли правильной классификации κ = 0,90 и λ = 0,80, то Φ-1(κ) = 1,28 и Φ-1(λ) = 0,84, откуда d* = 2,12 и прогностическая сила δ* = Φ-1(1,06) = 0,86. При этом доля правильной классификации μ может принимать любые значения между 0,80 и 0,90, в зависимости от доли элементов того или иного класса среди анализируемых данных. 
	Если классы описываются выборками из многомерных нормальных совокупностей с одинаковыми матрицами ковариаций, а для классификации применяется классический линейный дискриминантный анализ Р.Фишера, то величина  представляет собой состоятельную статистическую оценку т.н. расстояния Махаланобиса между рассматриваемыми двумя совокупностями (конкретный вид этого расстояния сейчас не имеет значения), независимо от порогового значения, определяющего конкретное решающее правило. В общем случае показатель  вводится как эвристический.
	Пусть алгоритм классификации применялся к совокупности, состоящей из т объектов первого класса и n объектов второго класса.
	Теорема 2. Пусть т, п  . Тогда для всех х
,
где  - истинная «прогностическая сила» алгоритма диагностики;  - ее эмпирическая оценка,
;
) - плотность стандартного нормального распределения вероятностей с математическим ожиданием 0 и дисперсией 1.
	С помощью теоремы 2 по  и  обычным образом определяют доверительные границы для «прогностической силы» .
	Пример 2. В условиях примера 1 при m = n = 100 найдем асимптотическое среднее квадратическое отклонение А(0,90; 0,80). 
	Поскольку φ(Φ-1(κ)) = φ(1,28) = 0,176, φ(Φ-1(λ)) = φ(0,84) = 0,280, φ(d*/2) = φ(1,06) = 0,227, то подставляя в выражение для А2 численные значения, получаем, что

(численные значения плотности стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1 и функции, обратной к функции этого распределения, можно было взять, например, из справочника [3]).
	При m = n = 100 имеем А(0,90; 0,80) = 0,0252. При доверительной вероятности γ = 0,95 имеем u(0,95) = Φ-1(1,0,975) = 1,96, а потому нижняя доверительная граница для прогностической силы δ есть δН = 0,86 – 1,96 Ч 0,0252 = 0,81, а верхняя доверительная граница такова: δВ = 0,86 + 1,96 Ч 0,0252 = 0,91. Аналогичный расчет при m = n = 1000 дает δН = 0,845, δВ = 0,875.
	Как проверить обоснованность пересчета на модель линейного дискриминантного анализа? Допустим, что классификация состоит в вычислении некоторого прогностического индекса у и сравнении его с заданным порогом с. Объект относят к первому классу, если у < с, ко второму, если у > с. Прогностический индекс – это обычно линейная функция от характеристик рассматриваемых объектов. Другими словами, от координат векторов, описывающих объекты.
	Возьмем два значения порога с1 и c2. Если пересчет на модель линейного дискриминантного анализа обоснован, то , как можно показать, «прогностические силы» для обоих правил совпадают: . Выполнение этого равенства можно проверить как статистическую гипотезу.
	Пусть  - доля объектов первого класса, для которых y < c1, а  - доля объектов первого класса, для которых c1 < y < c2. Аналогично пусть  - доля объектов второго класса, для которых c1 < y < c2, а  - доля объектов второго класса, для которых у > с2. Тогда можно рассчитать две оценки одного и того же расстояния Махаланобиса. Они имеют вид:

	Теорема 3. Если истинные прогностические силы двух правил диагностики совпадают, то при  при всех х
,
где
;
.
	Из теоремы 3 вытекает метод проверки рассматриваемой гипотезы: при выполнении неравенства

она принимается на уровне значимости, асимптотически равном , в противном случае - отвергается.
	Пример 3. Пусть данные примеров 1 и 2 соответствуют порогу с1. Пусть порогу с2 соответствуют κ’ = 0,95 и λ’ = 0,70. Тогда в обозначениях теоремы 3 κ1 = 0,90, κ2 = 0,05, λ2 = 0,10, λ3 = 0,70. Далее d*(c1) = 2,12 (пример 1), d*(c2) = 2,17, T(κ1, κ2) = 2,22, T(λ3, λ2) = 0,89. Гипотеза о совпадении прогностических сил на двух порогах принимается на уровне значимости α = 0,05 тогда и только тогда, когда 
,
т.е. когда
.
Так, гипотеза принимается при m = n = 1000 и отвергается при m = n = 5000. 
	Подходы к построению прогностических правил. Для решения задач диагностики используют два подхода – параметрический и непараметрический. Первый из них обычно основан на использовании того или иного индекса и сравнения его с порогом. Индекс может быть построен по статистическим данным, например, как в уже упомянутом линейном дискриминантном анализе Фишера. Часто индекс представляет собой линейную функцию от характеристик, выбранных специалистами предметной области, коэффициенты которой подбирают эмпирически. Непараметрический подход связан с леммой Неймана-Пирсона в математической статистике и с теорией статистических решений. Он опирается на использование непараметрических оценок плотностей распределений вероятностей, описывающих диагностические классы. 
	Обсудим ситуацию подробнее. Математические методы диагностики, как и статистические методы в целом, делятся на параметрические и непараметрические. Первые основаны на предположении, что классы описываются распределениями из некоторых параметрических семейств. Обычно рассматривают многомерные нормальные распределения, при этом зачастую принимают гипотезу о том, что ковариационные матрицы для различных классов совпадают. Именно в таких предположениях сформулирован классический дискриминантный анализ Фишера. Как известно, обычно нет оснований считать, что наблюдения извлечены из нормального распределения. 
	Поэтому более корректными, чем параметрические, являются непараметрические методы диагностики. Исходная идея таких методов основана на лемме Неймана-Пирсона, входящей в стандартный курс математической статистики. Согласно этой лемме решение об отнесении вновь поступающего объекта (сигнала, наблюдения и др.) к одному из двух классов принимается на основе отношения плотностей f(x)/g(x), где f(x) - плотность распределения, соответствующая первому классу, а g(x) - плотность распределения, соответствующая второму классу. Если плотности распределения неизвестны, то применяют их непараметрические оценки, построенные по обучающим выборкам. Пусть обучающая выборка объектов из первого класса состоит из n элементов, а обучающая выборка для второго класса - из  m объектов. Тогда рассчитывают значения непараметрических оценок плотностей fn(x) и gm(x) для первого и второго классов соответственно, а диагностическое решение принимают по их отношению. Таким образом, для решения задачи диагностики достаточно научиться строить непараметрические оценки плотности для выборок объектов произвольной природы.
	Методы построения непараметрических оценок плотности распределения вероятностей в пространствах произвольной природы рассмотрены в главе 2.5 и в монографии [6].  

6.5. Методы снижения размерности

	В многомерном статистическом анализе каждый объект описывается вектором, размерность которого произвольна (но одна и та же для всех объектов). Однако человек может непосредственно воспринимать лишь числовые данные или точки на плоскости. Анализировать скопления точек в трехмерном пространстве уже гораздо труднее. Непосредственное восприятие данных более высокой размерности невозможно. Поэтому вполне естественным является желание перейти от многомерной выборки к данным небольшой размерности, чтобы «на них можно было посмотреть».
	Кроме стремления к наглядности, есть и другие мотивы для снижения размерности. Те факторы, от которых интересующая исследователя переменная не зависит, лишь мешают статистическому анализу. Во-первых, на сбор информации о них расходуются ресурсы. Во-вторых, как можно доказать, их включение в анализ ухудшает свойства статистических процедур (в частности, увеличивает дисперсию оценок параметров и характеристик распределений). Поэтому желательно избавиться от таких факторов.
	Обсудим с точки зрения снижения размерности пример использования регрессионного анализа для прогнозирования объема продаж, рассмотренный в разделе 6.3. Во-первых, в этом примере удалось сократить число независимых переменных с 17 до 12. Во-вторых, удалось сконструировать новый фактор – линейную функцию от 12 упомянутых факторов, которая лучше всех иных линейных комбинаций факторов прогнозирует объем продаж. Поэтому можно сказать, что в результате размерность задачи уменьшилась с 18 до 2. А именно, остался один независимый фактор (приведенная в подразделе 6.3 линейная комбинация) и один зависимый – объем продаж. 
	При анализе многомерных данных обычно рассматривают не одну, а множество задач, в частности, по-разному выбирая независимые и зависимые переменные. Поэтому рассмотрим задачу снижения размерности в следующей формулировке. Дана многомерная выборка. Требуется перейти от нее к совокупности векторов меньшей размерности, максимально сохранив структуру исходных данных, по возможности не теряя информации, содержащихся в данных. Задача конкретизируется в рамках каждого конкретного метода снижения размерности. 
	Метод главных компонент - один из наиболее часто используемых методов снижения размерности. Основная его идея состоит в последовательном выявлении направлений, в которых данные имеют наибольший разброс. Пусть выборка состоит из векторов, одинаково распределенных с вектором X = (x(1), x(2), … , x(n)). Рассмотрим линейные комбинации 
Y(λ(1), λ(2), …, λ(n)) = λ(1)x(1) + λ(2)x(2) + … + λ(n)x(n),
где
λ2(1) + λ2(2) + …+ λ2(n) = 1.
Здесь вектор λ = (λ(1), λ(2), …, λ(n)) лежит на единичной сфере в n-мерном пространстве. 
	В методе главных компонент прежде всего находят направление максимального разброса, т.е. такое λ, при котором достигает максимума дисперсия случайной величины Y(λ) = Y(λ(1), λ(2), …, λ(n)). Тогда вектор λ задает первую главную компоненту, а величина Y(λ) является проекцией случайного вектора Х на ось первой главной компоненты.
	Затем, выражаясь терминами линейной алгебры,  рассматривают гиперплоскость в n-мерном пространстве, перпендикулярную первой главной компоненте, и проектируют на эту гиперплоскость все элементы выборки. Размерность гиперплоскость на 1 меньше, чем размерность исходного пространства. 
	В рассматриваемой гиперплоскости процедура повторяется. В ней находят направление наибольшего разброса, т.е. вторую главную компоненту. Затем выделяют гиперплоскость, перпендикулярную первым двум главным компонентам. Ее размерность на 2 меньше, чем размерность исходного пространства. Далее – следующая итерация.
	С точки зрения линейной алгебры речь идет о построении нового базиса в n-мерном пространстве, ортами которого служат главные компоненты.
	 Дисперсия, соответствующая каждой новой главной компоненте, меньше, чем для предыдущей. Обычно останавливаются, когда она меньше заданного порога. Если отобрано k главных компонент, то это означает, что от n-мерного пространства удалось перейти к k-мерному, т.е. сократить размерность с n-до k, практически не исказив структуру исходных данных.  
	Для визуального анализа данных часто используют проекции исходных векторов на плоскость первых двух главных компонент. Обычно хорошо видна структура данных, выделяются компактные кластеры объектов и отдельно выделяющиеся вектора. 
	Метод главных компонент - один из методов факторного анализа. Различные алгоритмы факторного анализа объединены тем, что во всех них происходит переход к новому базису в исходном n-мерном пространстве. Важным является понятие «нагрузка фактора», применяемое для описания роли исходного фактора (переменной) в формировании определенного вектора из нового базиса. 
	Новая идея по сравнению с методом главных компонент состоит в том, что на основе нагрузок происходит разбиение факторов на группы. В одну группу объединяются факторы, имеющие сходное влияние на элементы нового базиса. Затем из каждой группы рекомендуется оставить одного представителя. Иногда вместо выбора представителя расчетным путем формируется новый фактор, являющийся центральным для рассматриваемой группы. Снижение размерности происходит при переходе к системе факторов, являющихся представителями групп. Остальные факторы отбрасываются. 
	Описанная процедура возможна не только с помощью факторного анализа. Речь идет о кластер-анализе признаков (факторов, переменных). Для разбиения признаков на группы можно применять различные алгоритмы кластер-анализа. Достаточно ввести расстояние (меру близости, показатель различия) между признаками. Пусть Х и У – два признака. Различие d(X,Y) между ними можно измерять с помощью выборочных коэффициентов корреляции:
d1(X,Y) = 1 – |rn(X,Y)|,   d2(X,Y) = 1 – |ρn(X,Y)|,
где rn(X,Y) – выборочный линейный коэффициент корреляции Пирсона, ρn(X,Y) – выборочный коэффициент ранговой корреляции Спирмена. 
	Многомерное шкалирование. На использовании расстояний (мер близости, показателей различия) d(X,Y) между признаками Х и У основан обширный класс методов многомерного шкалирования. Основная идея этого класса методов - в представлении каждого объекта точкой геометрического пространства (обычно размерности 1, 2 или 3), координатами которой служат значения скрытых (латентных) факторов, в совокупности достаточно адекватно описывающих объект. При этом отношения между объектами заменяются отношениями между точками – их представителями. Так, данные о сходстве объектов – расстояниями между точками, данные о превосходстве – взаимным расположением точек [6]. 
	В практике используется ряд различных моделей многомерного шкалирования. Во всех них встает проблема оценки истинной размерности факторного пространства. Рассмотрим эту проблему на примере обработки данных о сходстве объектов с помощью метрического шкалирования. 
	Пусть имеется n объектов О(1), О(2), …, O(n), для каждой пары объектов О(i), O(j) задана мера их сходства s(i,j). Считаем, что всегда s(i,j) = s(j,i). Происхождение чисел s(i,j) не имеет значения для описания работы алгоритма. Они могли быть получены либо непосредственным измерением, либо с использованием экспертов, либо вычислением по совокупности описательных характеристик, либо как-то иначе. 
	В евклидовом пространстве рассматриваемые n объектов должны быть представлены конфигурацией n точек, причем в качестве меры близости точек-представителей выступает евклидово расстояние d(i,j) между соответствующими точками. Степень соответствия между совокупностью объектов и совокупностью представляющих их точек определяется путем сопоставления матриц сходства ||s(i,j)|| и расстояний ||d(i,j)||. Метрический функционал сходства имеет вид
.
Геометрическую конфигурацию надо выбирать так, чтобы функционал S достигал своего наименьшего значения [6].
	Замечание. В неметрическом шкалировании вместо близости самих мер близости и расстояний рассматривается близость упорядочений на множестве мер близости и множестве соответствующих расстояний. Вместо функционала S используются аналоги ранговых коэффициентов корреляции Спирмена и Кендалла. Другими словами, неметрическое шкалирование исходит из предположения, что меры близости измерены в порядковой шкале (см. главу 11.3). 
	Пусть евклидово пространство имеет размерность m. Рассмотрим минимум среднего квадрата ошибки
,
где минимум берется по всем возможным конфигурациям n точек в m-мерном евклидовом пространстве. 
	Можно показать, что рассматриваемый минимум достигается на некоторой конфигурации. Ясно, что при росте m величина αm монотонно убывает (точнее, не возрастает). Можно показать, что при  m > n – 1 она равна 0 (если s(i,j) – метрика). Для увеличения возможностей содержательной интерпретации желательно действовать в пространстве возможно меньшей размерности. При этом, однако, размерность необходимо выбрать так, чтобы точки представляли объекты без больших искажений. Возникает вопрос: как рационально выбирать размерность, т.е. натуральное число m?
	В рамках детерминированного анализа данных обоснованного ответа на этот вопрос, видимо, нет. Следовательно, необходимо изучить поведение αm в тех или иных вероятностных моделях. Если меры близости s(i,j) являются случайными величинами, распределение которых зависит от «истинной размерности» m0 (и, возможно, от каких-либо еще параметров), то можно в классическом математико-статистическом стиле ставить задачу оценки m0, искать состоятельные оценки и т.д.
	Начнем строить вероятностные модели. Примем, что объекты представляют собой точки в евклидовом пространстве размерности k, где k достаточно велико. То, что «истинная размерность» равна m0, означает, что все эти точки лежат на гиперплоскости размерности m0. Примем для определенности, что совокупность рассматриваемых точек представляет собой выборку из кругового нормального распределения с дисперсией σ2(0). 
	Это означает, что объекты О(1), О(2), …, O(n) являются независимыми в совокупности случайными векторами. Каждый из них строится как 
ζ(1)e(1) + ζ(2)e(2) + … + ζ(m0)e(m0),
где e(1), e(2), … , e(m0) – ортонормальный базис в подпространстве размерности m0, в котором лежат рассматриваемые точки, а ζ(1), ζ(2), … , ζ(m0) – независимые в совокупности одномерные нормальные случайные величины с математическим ожиданием ) и дисперсией σ2(0).
	Рассмотрим две модели получения мер близости s(i,j). В первой из них s(i,j) отличаются от евклидова расстояния между соответствующими точками из-за того, что точки известны с искажениями. Пусть с(1), с(2), … , с(n) – рассматриваемые точки. Тогда 
s(i,j) = d(c(i) + ε(i), c(j) + ε(j)),  i,j = 1, 2, … , n,
где d – евклидово расстояние между точками в k-мерном пространстве, вектора ε(1), ε(2), … , ε(n) представляют собой выборку из кругового нормального распределения в k-мерном пространстве с нулевым математическим ожиданием и ковариационной матрицей σ2(1)I, где I – единичная матрица. Другими словами, 
ε(i) = η(1)e(1) + η(2)e(2) + … + η(k)e(k),
где e(1), e(2), …, e(k) – ортонормальный базис в k-мерном пространстве, а {η(i,t), i = 1, 2, … , n, t = 1, 2, …, k} – совокупность независимых в совокупности одномерных случайных величин с нулевым математическим ожиданием и дисперсией σ2(1).
	Во второй модели искажения наложены непосредственно на сами расстояния:
s(i,j) = d(c(i), c(j)) + ε(i,j),  i,j = 1, 2, … , n, i ≠ j, 
где {ε(i,j), i,j = 1, 2, … , n} – независимые в совокупности нормальные случайные величины с математическим ожиданием ) и дисперсией σ2(1).
	В работе [6] показано, что для обеих сформулированных моделей минимум среднего квадрата ошибки αm  при n → ∞ сходится по вероятности к 
f(m) = f1(m) + σ2(1)(k – m),  m = 1, 2, …, k,
где

Таким образом, функция f(m) линейна на интервалах [1, m0] и [m0, k], причем на первом интервале она убывает быстрее, чем на втором. Отсюда следует, что статистика

является состоятельной оценкой истинной размерности m0.
	Итак, из вероятностной теории вытекает рекомендация – в качестве оценки размерности факторного пространства использовать m*. Отметим, что подобная рекомендация была сформулировано как эвристическая одним из основателей многомерного шкалирования Дж. Краскалом. Он исходил из опыта практического использования многомерного шкалирования и вычислительных экспериментов. Вероятностная теория позволила обосновать эту эвристическую рекомендацию.

6.6. Индексы и их применение

	Индекс (лат. index – показатель, список) -  статистический относительный показатель, характеризующий соотношение во времени (динамический индекс) или в пространстве (территориальный индекс) социально-экономических явлений. Речь идет о ценах на товары и услуги, объемах производства, себестоимости, объемах продаж и др. Индексы делятся на индивидуальные и сводные. Так, индивидуальный динамический индекс описывает изменение тех или иных явлений во времени. Например, изменения цены на отдельный товар, объема выплавки стали, урожайности картофеля. Для вычисления индивидуального индекса значение измеряемой величины в текущем периоде делят на ее значение в базисном периоде. Сводный индекс служит для сопоставления непосредственно несоизмеримых, разнородных явлений. Например, объемов продаж различных продовольственных товаров (в килограммах). Для требуемого сопоставления необходимо составные элементы несоизмеримых явлений сделать соизмеримыми, выразив их общей мерой: стоимостью, трудовыми затратами и т.д. Сводные индексы обычно имеют один из трех видов:

где х – индексируемая величина, f – веса индексов, 0 и 1 – знаки соответственно базисного и текущего периодов, суммирование ведется по одному и тому же множеству «индексов суммирования». (Обратите внимание на то, что в статистических методах согласно традиции термин «индекс» может использоваться в разных смыслах.) Таким образом, индексы, как и коэффициенты корреляции, зависят от двух переменных – индексируемой величины х и весов индексов f.
	В качестве примера построения и использования индексов рассмотрим индекс потребительских цен, он же - индекс инфляции.
	Под инфляцией понимаем рост (изменение) цен [4]. При анализе экономических процессов, протяженных во времени, необходимо переходить к сопоставимым ценам. Это невозможно сделать без расчета индекса роста цен, т.е. индекса инфляции. Проблема в том, что цены на разные товары растут с различной скоростью, и необходимо эти скорости усреднять. 
	Рассмотрим конкретного покупателя товаров и услуг, т.е. конкретного экономического субъекта: физическое лицо, домохозяйство или фирму. Он покупает не один товар, а много. Обозначим через n количество типов товаров или услуг (далее кратко - товаров), которые он хочет и может купить. Пусть 
 Qi = Qi(t), i = 1, 2, ..., n,
- объемы покупок этих товаров в момент времени t по ценам:
ri = ri(t), i = 1, 2, ..., n
(имеется в виду цена за единицу измерения соответствующего товара, например, за штуку или килограмм...).
	Подход к измерению роста цен основан на выборе и фиксации потребительской корзины (Q1(t), Q2(t), ...,  Qn(t)), не меняющейся со временем, т.е. (Q1(t), Q2(t), ...,  Qn(t)) ≡ (Q1, Q2, ...,  Qn). Затем необходимо сравнить стоимости потребительской корзины (Q1, Q2, ..., Qn) в старых ri(t1), i = 1, 2, ..., n,  и новых ri(t2), i = 1, 2, ..., n, ценах.
	Определение. Индексом инфляции называется 

	Таким образом, каждой потребительской корзине соответствует свой индекс инфляции. Однако согласно теореме сложения для индекса инфляции [4] он является средним взвешенным арифметическим роста цен на отдельные товары. Поэтому индексы инфляции, рассчитанные по разным достаточно обширным и представительным потребительским корзинам, достаточно близки между собой (см. конкретные данные в [4]).  
	Институт высоких статистических технологий и эконометрики (ИВСТЭ) использовал для измерения инфляции минимальную потребительскую корзину физиологически необходимых продовольственных товаров [4]. Она разработана на основе исходных данных Института питания Российской академии медицинских наук (РАМН). Данные о динамике индекса инфляции приведены в табл.6.3.

Таблица 6.3
Индекс инфляции и стоимость потребительской корзины
№ п/п	Дата снятия цен	Стоимость потребительской корзины S(t) (руб.)	Индекс инфляции I(31.3.91;t)	
(1)	(2)	(3)	(4)	
1	31.03.91	26.60	1.00	
2	14.08.93	17,691.00	665.08	
3	15.11.93	28,050.00	1054.51	
4	14.03.94	40,883.00	1536.95	
5	14.04.94	44,441.00	1670.71	
6	28.04.94	47,778.00	1796.17	
7	26.05.94	52,600.00	1977.44	
8	08.09.94	58,614.00	2203.53	
9	06.10.94	55,358.00	2081.13	
10	10.11.94	72,867.00	2739.36	
11	01.12.94	78,955.00	2968.23	
12	29.12.94	97,897.00	3680.34	
13	02.02.95	129,165.00	4855.83	
14	02.03.95	151,375.00	5690.79	
15	30.03.95	160,817.00	6045.75	
16	27.04.95	159,780.00	6006.77	
17	01.06.95	167,590.00	6300.38	
18	29.06.95	170,721.00	6418.08	
19	27.07.95	175,499.00	6597.71	
20	31.08.95	173,676.00	6529.17	
21	28.09.95	217,542.00	8178.27	
22	26.10.95	243,479.00	9153.35	
23	30.11.95	222,417.00	8361.54	
24	28.12.95	265,716.00	9989.32	
25	01.02.96	287,472.55	10,807.24	
26	05.03.96	297,958.00	11,201.43	
27	05.04.96	304,033.44	11,429.83	
28	08.05.96	305,809.55	11,496.60	
29	05.06.96	302,381.69	11,367.73	
30	03.07.96	306,065.21	11,506.21	
31	03.08.96	308,963.42	11,615.17	
32	07.09.96	288,835.07	10,858.46	
33	01.10.96	278,235.35	10,459.98	
34	05.11.96	287,094.77	10,793.04	
35	04.12.96	298,024.76	11,203.94	
36	03.01.97	314,287.16	11,815.31	
37	04.02.97	334,738.24	12,584.14	
38	04.01.98	345.72	12.997	
39	03.01.99	630.07	20.395	
40	05.01.00	737.80	27.737	
41	03.01.01	886.84	33.340	
42	03.01.02	1051.79	39.541	
43	03.01.03	1210.62	45.512	
44	03.01.04	1355.91	50.974	
45	01.07.04	1369.10	51,470	
46	11.01.05	1463.98	55.037	
47	10.01.06	1525.62	57.354	
48	26.11.06	1571.26	59,070	
49	10.01.07	1580.89	59,432	
50	02.07.07	1644.38	61,819	
51	03.01.08	1891.04	71,092	
52	03.07.08	2286.54	85,960	
53	10.01.09	2458,03	92,407	
54	02.07.09	2682.08	100,83	
55	11.01.10	2833.04	106.48	
	Примечание 1. В таблице 6.3 целая часть отделяется от дробной десятичной точкой, а запятая используется для деления числа по разрядам (на западный манер). Учитывается проведенная деноминация рубля. Если ее не учитывать, то за 19 лет (1991-2010) цены (в Москве) выросли примерно в 106 тысяч раз. Поскольку экономические связи между регионами ослабли, то темпы роста цен в регионах различаются, но обычно не более чем на 10-20%. 

	Использования индекса инфляции в экономических расчетах при принятии решений. Стоимость денежных единиц со временем меняется. Например, на один доллар США полвека назад можно было купить примерно в восемь раз больше материальных ценностей (например, продовольствия), чем сейчас (см. таблицу пересчета в учебнике [20]), а если сравнивать с временами Тома Сойера - примерно в 100 раз больше. Причем стоимость денежных единиц с течением времени, как правило, падает. Этому есть две основные причины - банковский процент и инфляция. В экономике есть инструменты для учета изменения стоимости денежных единиц с течением времени. Один из наиболее известных - расчет NPV (Net Present Value) - чистой текущей стоимости. Однако бухгалтерский учет и построенный на данных баланса предприятия экономический анализ финансово-хозяйственной деятельности предприятия пока что, как правило, игнорируют сам факт наличия инфляции. Обсудим некоторые возможности использования индекса инфляции в экономических расчетах в процессе подготовки и принятия решений. Чтобы избежать обсуждения современного экономического положения, отнесем рассматриваемые примеры к середине 1990-х годов.
	Переход к сопоставимым ценам. Индекс инфляции даст возможность перехода к сопоставимым ценам, расходам, доходам и другим экономическим величинам. Например, по данным табл. 6.3 индекс инфляции за 4 года - с 14.03.91 г. по 16.03.95 г. - составил 5936. Это означает, что покупательной способности 1 рубля марта 1991 г. соответствует примерно 6000 (а точнее 5936) рублей марта 1995 г.
	Рассмотрим приведение доходов к неизменным ценам. Пусть Иван Иванович Иванов получал в 1990 г. 300 руб. в месяц, а в мае 1995 г. - 1 миллион руб. в месяц. Увеличились его доходы или уменьшились?
	Номинальная заработная плата выросла в 1000000/300 = 3333 раза. Однако индекс инфляции на 18 мая 1995 г. составлял 7080. Это значит, что 1 руб. 1990 г. соответствовал по покупательной способности 7080 руб. в ценах на 18.05.95 г. Следовательно, в ценах 1990 г. доход  И.И. Иванова составлял 1000000/7080 = 142 руб. 24 коп., т.е. 47,4% от дохода в 1990 г.
	Можно поступить наоборот, привести доход 1990 г. к ценам на 18 мая 1995 г. Для этого достаточно умножить его на индекс инфляции: доход 1990 г. соответствует 300 х 7080 = 2 миллиона 124 тыс. руб. в ценах мая 1995 г.
	Средняя зарплата. По данным Госкомстата РФ средняя заработная плата составляла в 1990 г. 297 руб., в октябре 1993 г. - 93 тыс. руб., в январе 1995 г. - 303 тыс. руб. Поскольку зарплата тратится в основном в следующем месяце после получки, рассмотрим индексы инфляции на 15.11.93 г. и 2.02.95 г., равные 1045 и 4811 соответственно. В ценах 1990 г. средняя зарплата составила 89 руб. и 62 руб.98 коп. соответственно, т.е. 30% и 21,2% от зарплаты 1990 г.
	Средняя зарплата рассчитывается делением фонда оплаты труда на число работников. При этом объединяются доходы и низкооплачиваемых лиц и сравнительно высокооплачиваемых. Известно, что распределение доходов резко асимметрично, большому числу низкооплачиваемых работников соответствует малое число лиц с высокими доходами. За 1991-1995-е гг. дифференциация доходов резко увеличилась. Это означает, что доходы основной массы трудящихся сдвинулись влево относительно средней зарплаты. По нашей оценке 50% получают не более 70% от средней зарплаты, т.е. не более 212100 руб. по состоянию на январь 1995 г., а наиболее массовой является оплата в 50% от средней, т.е. около 150 тыс. руб. в месяц.
	Доходы отдельных слоев трудящихся снизились еще существеннее. Зарплата профессора Московского государственного института электроники и математики (технического университета) составляла  в марте 1994 г. - 42 руб.92 коп. (в ценах 1990 г.), в июле 1995 г. - 43 руб. 01 коп., т.е. с 1990 г. (400 руб.) снизилась в 9,3 раза, дошла до уровня прежней студенческой стипендии. А студенческие стипендии снизились примерно в той же пропорции и составляли 4-5 руб. в ценах 1990 г.
	Госкомстат (и Росстат) учитывает начисленную зарплату, а не выплаченную. В отдельные периоды отечественной истории выплата заработной платы откладывалась надолго.
	Минимальная зарплата и прожиточный минимум.  Минимальная зарплата в сентябре 1994 г. (22500 руб.) и в мае 1995 г. (43700 руб.) составляла 38 и 23,4% соответственно от стоимости минимальной физиологически необходимой продовольственной корзины. После подъема до 55 тыс. руб. она в сентябре 1995 г. составляла около 26,34% от стоимости корзины, т.е. реально уменьшилась в 1,44 раза по сравнению с сентябрем 1994 г. В дальнейшем уменьшение стало еще более заметным.
	Минимальная зарплата вместе с единой тарифной сеткой во многом определяла зарплату работников бюджетной сферы. Учитывая снижение коэффициентов тарифной сетки, проведенное весной 1995 г., снижение в 1,5 раза  покупательной способности минимальной зарплаты, необходимо заключить, что в сентябре 1995 г. доход бюджетников в 2 раза меньше, чем год назад.
	Оценим прожиточный минимум. Бюджетные обследования  1990 года показали, что для лиц с низкими доходами расходы на продовольствие составляют около 50% всех расходов, т.е. на промтовары и услуги идет около 50% доходов. Это соотношение подтвердило и проведенное ИВСТЭ бюджетное обследование конца 1995 г. Исходя из него, среднедушевой прожиточный минимум можно оценить, умножая на 2,0 стоимость минимальной продовольственной корзины ИВСТЭ. Например, на 1 сентября 1995 г. - 418220 руб. Т.е. прожиточный уровень для семьи из трех человек - муж, жена и ребенок - должен был на 1 сентября 1995 г. составлять 1,25 миллиона руб. (в месяц). Например, муж должен получать 800 тыс. руб., жена - 450 тыс. руб. в месяц. Очевидно, доходы большинства трудящихся меньше прожиточного уровня. 
	Численные значения стоимостей потребительских корзин и индексов инфляции рассчитаны ИВСТЭ в основном по ценам на продукты в Москве и Подмосковье. Однако для других регионов численные значения отличаются мало. Для Москвы индекс инфляции на 1.09.95 г. - 7759, а для Иванова на 1.08.95 г. - 7542. Поскольку потребительская корзина на 14.03.91 г. в Иванове была на 95 коп. дешевле, то и на 1.08.95 г. она несколько дешевле - 195337 руб., а прожиточный минимум равен 390673 руб. Приведенные выше численные значения для Москвы в качестве первого приближения можно использовать для различных регионов России. 
	Индексы инфляции с помощью описанной выше методики можно рассчитать для любого региона, профессиональной или социальной группы, отдельного предприятия или даже конкретной семьи. Эти значения могут быть эффективно использованы на трехсторонних переговорах между профсоюзами, работодателями и представителями государства.
	Проценты по вкладам в банк, плата за кредит и инфляция. Рассмотрим банк, честно выполняющий свои обязательства. Пусть он дает 10% в месяц по депозитным вкладам. Тогда 1 руб., положенный в банк, через месяц превращается в 1,1 руб., а через 2 - по формуле сложных процентов – в 1,12 = 1,21 руб., ..., через год - в 1,112 = 3,14 руб. Однако за год росли не только вклады, но и цены. Например, с 19.05.94 г. по 18.05.95 г. индекс инфляции составил 3,73. Значит, в ценах на момент оформления вкладов итог годового хранения равен 3,14 / 3,73 = 0,84 руб. Хранение оказалось невыгодным - реальная стоимость вклада уменьшилась на 16%, несмотря на, казалось бы, очень выгодные условия банка.
	Пусть фирма получила кредит под 200% годовых. Значит, вместо 1 руб., полученного в настоящий момент в кредит, через год ей надо отдать 3 руб. Пусть она взяла кредит 19.05.94 г., а отдает 18.05.95 г. Тогда в ценах на момент взятия кредита она отдает 3/3,73 = 0,80 руб. за 1 руб. кредита. Таким образом, кредит частично превратился в подарок - возвращать надо на 20% меньше, чем получил, реальная ставка кредита отрицательна, она равна (- 20)%! Такова была типичная ситуация в России в течение ряда лет начиная с 1992 г., особенно в 1992-1994 гг. Но бесплатных подарков в бизнесе не бывает  - за них надо платить по другим каналам, как правило, криминальным.
	Сколько стоит доллар? В июле 1995 г. индекс инфляции около 7000, а курс доллара США - около 4500 руб. за доллар. Следовательно, доллар США стоит 4500/7000 = 0,64 руб. в ценах 1990 г., т.е. примерно соответствует официальному обменному курсу в 1980-х годах. В сентябре 1994 г. курс доллара был около 2000, а индекс инфляции - около 2200, т.е. доллар стоил около 0,90 руб. в ценах 1990 г. Реальная покупательная способность доллара упала за 10 месяцев в 1,42 раза.
	В середине 2003 г. курс доллара был несколько больше 30 руб. (30 руб. 38 коп.), индекс инфляции составлял 52.56, следовательно, 1 доллар США по своей покупательной способности в России на июль 2003 г. соответствовал 58 копейкам начала 1991 г. В начале 2004 г. курс доллара составлял около 28 руб. 50 коп. при индексе инфляции 56.068, следовательно, 1 доллар США по своей покупательной способности в России на начало 2004 г. соответствовал 51 копейке начала 1991 г. Всего за полгода доллар подешевел на 12%.
	Инфляция, показатели работы предприятия и ВВП. Индексы инфляции используются для пересчета номинальных цен в неизменные (сопоставимые). Другими словами, для приведения доходов и расходов к ценам определенного момента времени. Потребительские корзины для промышленных предприятий, конечно, должны включать промышленные товары, а потому отличаться от потребительских корзин, ориентированных для изучения жизненного уровня. 
	Сколько стоит предприятие? Важно оценить основные фонды. Для этого нужно взять их стоимость в определенный момент времени и умножить на индекс инфляции (и учесть амортизационные отчисления). 
	Валовой внутренний продукт, валовой национальный продукт и другие характеристики экономического положения страны рассчитываются в текущих ценах. Для перехода к неизменным ценам, грубо говоря, надо поделить на индекс инфляции (т.е. умножить на дефлятор). 
	Проблема учета инфляции при экономическом анализе финансово-хозяйственной деятельности предприятия. Как известно, разработана и широко применяется развернутая система коэффициентов, используемых при экономическом анализе финансово-хозяйственной деятельности предприятия [21]. Она основана на данных бухгалтерского баланса. Естественно, опирается на два столбца баланса - данные на «начало периода» и данные на «конец периода». Записывают в эти столбцы номинальные значения. В настоящее время инфляцию полностью игнорируют. Это приводит к искажению реального положения предприятия. Денежные средства преувеличиваются, а реальная стоимость основных фондов занижается. По официальной отчетности предприятие может считаться получившим хорошую прибыль, а по существу - не иметь средств для продолжения производственной деятельности. 
	Ясно, что учитывать инфляцию надо. Вопрос в другом - как именно. Потребительская корзина должна, видимо, состоять из тех товаров и услуг, которые предприятие покупает. Стоимость основных фондов может не только убывать в соответствии с амортизацией, но и возрастать согласно отраслевому темпу инфляции, и т.д. 

Литература

1. Крамер Г. Математические методы статистики. - М.: Мир, 1975. - 648 с.
2. Кендэл М. Ранговые корреляции. - М.: Статистика, 1975. - 216 с.
3. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983. - 416 с.
4. Орлов А.И. Эконометрика. Изд. 4-е, доп. и перераб. – Ростов-на-Дону: Феникс, 2009. - 572 с.
5. Кендалл М.Дж., Стьюарт А. Многомерный статистический анализ и временные ряды. - М.: Наука, 1976. – 736 с. 
6. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.
7. Орлов А.И. Некоторые вероятностные вопросы теории классификации // Прикладная статистика. / Ученые записки по статистике, т.45. - М.: Наука, 1983. – С.166-179.
8. Макконнелл К.Р., Брю С.Л. Экономикс: Принципы, проблемы и политика. В 2 т.: Пер. с англ. 11-го изд. - М.: Республика, 1992.
9. Баканов М.И., Шеремет А.Д. Теория экономического анализа. – М.: Финансы и статистика, 2000. – 416 с. 

Контрольные вопросы и задачи 

1. Имеются данные за несколько лет о торговом обороте Y западногерманского предприятия и его расходах на рекламу X. Данные представлены в табл. 6.4.

Таблица 6.4
Расходы на рекламу и торговый оборот предприятия.
Годы, t	68	69	70	71	72	73	74	75	
Расходы на рекламу x(t), тыс. марок 	4	4	5	6	8	8	10	11	
Торговый оборот y(t), млн.марок	4	5	6	6	8	10	12	13	

	Вычислите линейный коэффициент корреляции между случайными величинами X и Y. С помощью метода наименьших квадратов определите коэффициенты линейной регрессии Y = aX + b. Постройте график (заданные точки (xi,yi) и прямую y= a*x+b*). Найдите доверительные границы для регрессионной зависимости (при доверительной вероятности γ = 0,95). Нанесите доверительные границы на график. Сделайте точечный и интервальный прогноз для торгового оборота при расходах на рекламу, равных 15 (тыс. марок ФРГ).
	Аналогичным образом изучите зависимости расходах на рекламу X и торгового оборота Y от времени t (за начало отсчета целесообразно взять 1971 год).
 2. Семь школьников выполняют несколько заданий по математике и физике, которые оцениваются баллами 1 - 5, затем вычисляется средний балл для каждого школьника по каждому предмету: по математике - xi,  по физике - yj. Данные представлены в табл.6.5. Определите, существует ли корреляция (т.е. связь) между этими оценками, вычислив коэффициент ранговой корреляции Спирмена. 

Таблица 6.5
Средние баллы по математике и физике
Школьник	Средний балл
по математике xi	Средний балл
по физике yi	
А
B
C
D
E
F
G	1,8
3,0
3,5
4,0
5,0
3,8
2,0	3,2
2,8
4,0
5,0
3,6
2,4
1,2	
 
3. Исходные данные (табл. 6.6) – набор n пар чисел (tk , xk), k = 1, 2, …, n, где tk – независимая переменная (например, время), а  xk – зависимая (например, индекс инфляции). Предполагается, что переменные связаны зависимостью
xk = a tk + b + ek , k = 1, 2, …, n,
где a и b – параметры, неизвестные статистику и подлежащие оцениванию; ek – погрешности, искажающие зависимость.

Таблица 6.6 
Исходные данные для расчетов по методу наименьших квадратов.
tk	1	3	4	7	9	10	
xk	12	20	20	32	35	42	

	Методом наименьших квадратов оцените параметры a и b линейной зависимости. Выпишите восстановленную зависимость.
	Вычислите восстановленные значения зависимой переменной, сравните их с исходными значениями (найдите разности) и проверьте условие точности вычислений (при отсутствии ошибок в вычислениях сумма исходных значений должна равняться сумме восстановленных).
	Найдите остаточную сумму квадратов и оцените дисперсию погрешностей.
	Выпишите точечный прогноз, а также верхнюю и нижнюю доверительные границы для него  (для доверительной вероятности 0,95).
	Рассчитайте прогнозное значение и доверительные границы для него для момента t = 12.
	Как изменятся результаты, если доверительная вероятность будет увеличена? А если она будет уменьшена?
4. Как в методе наименьших квадратов используются преобразования переменных?
5. Как соотносятся задачи группировки и задачи кластер-анализа?
6. В табл. 6.7 приведены попарные расстояния между десятью социально-психологическими признаками способных к математике школьников. 
Таблица 6.7
Попарные расстояния между признаками
	1	2	3	4	5	6	7	9	10	
2	1028									
3	1028	608								
4	1050	688	610							
5	1012	686	636	634						
6	1006	566	538	616	562					
7	1012	1026	748	692	774	732				
8	960	1088	1144	1122	1120	1130	1110			
9	1026	878	874	830	836	802	904	1040		
10	990	744	674	744	718	580	814	1090	830	

	Примените к этим данным алгоритмы ближайшего соседа, средней связи и дальнего соседа. Для каждого из трех алгоритмов выделите наиболее устойчивые разбиения на кластеры. 
7. Расскажите о динамике индекса инфляции в России. 

Темы докладов, рефератов, исследовательских работ

1. Примеры практического использования методов многомерного статистического анализа.
2. Для непараметрической модели метода наименьших квадратов в случае линейной функции одной переменной разработайте алгоритмы
	а) расчета доверительных границ для коэффициентов модели;
	б) проверки гипотез относительно этих коэффициентов.
3. Докажите, что сумма исходных значений зависимой переменной должны быть равна сумме восстановленных значений. 
4. Критерии качества регрессионной модели.
5. Использование непараметрических оценок плотности для восстановления зависимости.
6. В задаче о точке встречи оцените асимптотические дисперсии оценок уровня качества в момент встречи  и временного лага L* и используйте полученные результаты для доверительного оценивания и проверки гипотез.
7. Многообразие методов кластер-анализа.
8. Теоремы умножения и сложения для индекса инфляции.
9. Экспериментальная работа: соберите данные о ценах и рассчитайте индекс инфляции для своего региона (данные о потребительской корзине ИВСТЭ и ценах на базовый момент времени приведены в [4]).
10. Учет инфляции при проведении анализа финансово-хозяйственной деятельности предприятия.

Глава 7. Статистические методы анализа динамики

	Анализ динамики - это анализ временных рядов. Под временными рядами понимают детерминированные или случайные функции от времени. Время предполагается дискретным, в противном случае говорят о случайных процессах, а не о временных рядах. 

7.1. Методы анализа и прогнозирования временных рядов

	Модели стационарных и нестационарных временных рядов. Пусть  Рассмотрим временной ряд X(t). Пусть сначала временной ряд принимает числовые значения. Это могут быть, например, цены на батон хлеба в соседнем магазине или курс обмена доллара на рубли в ближайшем обменном пункте. Обычно в поведении временного ряда выявляют две основные тенденции - тренд и периодические колебания. 
	Под трендом понимают зависимость от времени линейного, квадратичного или иного типа, которую выявляют тем или иным способом эмпирического сглаживания (например, экспоненциального сглаживания) либо модельно-расчетным путем, в частности, с помощью метода наименьших квадратов. Другими словами, тренд - это очищенная от случайностей основная тенденция временного ряда.
	Временной ряд обычно колеблется вокруг тренда, причем отклонения от тренда часто обнаруживают правильность. Часто это связано с естественной или назначенной периодичностью, например, сезонной или недельной, месячной или квартальной (например, в соответствии с графиками выплаты заплаты и уплаты налогов, склонностями к посещению сайтов или магазинов). Иногда наличие периодичности и тем более ее причины неясны, и задача статистика - выяснить, действительно ли имеется периодичность. 
	Элементарные методы оценки характеристик временных рядов обычно достаточно подробно рассматриваются в курсах «Общей теории статистики», поэтому нет необходимости подробно разбирать их здесь. О некоторых современных методах оценивания длины периода и самой периодической составляющей речь пойдет ниже в разделе 7.3.
	Характеристики временных рядов. Для более подробного изучения временных рядов используются вероятностно-статистические модели. При этом временной ряд X(t) рассматривается как случайный процесс (с дискретным временем). Основными характеристиками X(t) являются математическое ожидание X(t), т.е. 
,
дисперсия X(t), т.е. 

и автокорреляционная функция временного ряда X(t) 

т.е. функция двух переменных, равная коэффициенту корреляции между двумя значениями временного ряда X(t) и X(s). 
	В теоретических и прикладных исследованиях рассматривают широкий спектр моделей временных рядов. Выделим сначала стационарные модели. В них совместные функции распределения  значений временного ряда в моменты  для любого числа моментов времени k, а потому и все перечисленные выше характеристики временного ряда не меняются со временем. В частности, математическое ожидание и дисперсия являются постоянными величинами, автокорреляционная функция зависит только от разности t - s. Временные ряды, не являющиеся стационарными, называются нестационарными. 
	Линейные регрессионные модели с гомоскедастичными и гетероскедастичными, независимыми и автокоррелированными остатками. Как видно из сказанного выше, основное - это «очистка» временного ряда от случайных отклонений, т.е. оценивание математического ожидания, равного сумме тренда и периодической составляющей [1]. В отличие от простейших моделей регрессионного анализа, рассмотренных в главе 6, здесь естественным образом появляются более сложные модели. Например, дисперсия может зависеть от времени. Такие модели называют гетероскедастичными, а те, в которых нет зависимости от времени - гомоскедастичными. (Точнее говоря, эти термины могут относиться не только к переменной «время», но и к другим переменным.) 
	Далее, в главе 6 предполагалось, что погрешности независимы между собой. В терминах настоящей главы это означало бы, что автокорреляционная функция должна быть вырожденной - равняться 1 при равенстве аргументов и 0 при их неравенстве. Ясно, что для реальных временных рядов так бывает отнюдь не всегда. Если естественный ход изменений наблюдаемого процесса является достаточно быстрым по сравнению с интервалом между последовательными наблюдениями, то можно ожидать «затухания» автокорреляции» и получения практически независимых остатков, в противном случае остатки будут зависимы, т.е., как говорят, автокоррелированы. 
	Идентификация моделей. Под идентификацией моделей обычно понимают выявление их структуры и оценивание параметров. Поскольку структура - это тоже параметр, хотя и нечисловой, то речь идет об одной из типовых задач прикладной статистики - оценивании параметров. 
	Проще всего задача оценивания решается для линейных (по параметрам) моделей с гомоскедастичными независимыми остатками. В этом случае, как показано в главе 6, восстановление зависимостей во временных рядах может быть проведено на основе методов наименьших квадратов (и наименьших модулей) оценивания параметров в моделях линейной (по параметрам) регрессии. На случай временных рядов переносятся результаты, связанные с оцениванием необходимого набора регрессоров, в частности, легко получить предельное геометрическое распределение оценки степени тригонометрического полинома (см. главу 6). 
	Однако на более общую ситуацию такого простого переноса сделать нельзя. Например, в случае временного ряда с гетероскедастичными и автокоррелированными остатками снова можно воспользоваться общим подходом метода наименьших квадратов, однако система уравнений метода наименьших квадратов и, естественно, ее решение будут иными. Формулы в терминах матричной алгебры, о которых упоминалось в главе 6, будут отличаться. Поэтому рассматриваемый метод называется «обобщенный метод наименьших квадратов (ОМНК)».
	Замечание. Как уже отмечалось в главе 6, простейшая модель метода наименьших квадратов допускает весьма далекие обобщения, особенно в области систем одновременных эконометрических уравнений для временных рядов. Для понимания соответствующей теории и алгоритмов необходимо владение методами матричной алгебры. Поэтому мы отсылаем тех, кому это интересно, к литературе по системам эконометрических уравнений и непосредственно по временным рядам, в которой особенно много интересуются спектральной теорией, т.е. выделением сигнала из шума и разложением его на гармоники. 
	За каждой главой настоящей книги стоит большая область научных и прикладных исследований, вполне достойная того, чтобы посвятить ей много усилий. Однако из-за ограниченности объема книги мы вынуждены изложение сделать конспективным.

7.2. Системы эконометрических уравнений

	В качестве первоначального примера рассмотрим эконометрическую модель временного ряда, описывающего рост индекса потребительских цен (индекса инфляции). Пусть I(t) - рост цен в месяц t (подробнее об этой проблематике см. главу 4 в [1]). По мнению некоторых экономистов естественно предположить, что 
I(t) = сI(t - 1) + a + bS(t - 4) + e,		(7.1)
где I(t - 1) - рост цен в предыдущий месяц (а с - некоторый коэффициент затухания, предполагающий, что при отсутствии внешний воздействий рост цен прекратится); a - константа (она соответствует линейному изменению величины I(t) со временем); bS(t - 4) - слагаемое, соответствующее влиянию эмиссии денег (т.е. увеличения объема денег в экономике страны, осуществленному Центральным Банком) в размере S(t - 4) и пропорциональное эмиссии с коэффициентом b, причем это влияние проявляется не сразу, а через 4 месяца; e - это неизбежная погрешность. 
	Модель (7.1), несмотря на свою простоту, демонстрирует многие характерные черты гораздо более сложных эконометрических моделей. Некоторые переменные определяются (рассчитываются) внутри модели, такие, как I(t). Их называют эндогенными (внутренними). Другие задаются извне (это экзогенные переменные). Иногда, как в теории управления, среди экзогенных переменных, выделяют управляемые переменные - те, с помощью выбора значений которых можно привести систему в нужное состояние.
	В соотношении (7.1) появляются переменные новых типов - с лагами, т.е. аргументы в переменных относятся не к текущему моменту времени, а к некоторым прошлым моментам. 
	Составление эконометрической модели типа (7.1) - это отнюдь не рутинная операция. Например, запаздывание именно на 4 месяца в связанном с эмиссией денег слагаемом bS(t - 4) - это результат достаточно изощренной предварительной статистической обработки. Далее, требует изучения вопрос зависимости или независимости величин S(t - 4) и I(t) в различные моменты времени t. От решения этого вопроса зависит, как выше уже отмечалось, конкретная реализация процедуры метода наименьших квадратов. 
	С другой стороны, в модели (7.1) всего 3 неизвестных параметра, и постановку метода наименьших квадратов выписать нетрудно. Положим:

Путем минимизации этой функции находим оценки параметров.
	Проблема идентифицируемости. Представим теперь модель типа (7.1) с большим числом эндогенных и экзогенных переменных, с лагами и сложной внутренней структурой. Вообще говоря, ниоткуда не следует, что существует хотя бы одно решение у такой системы. Поэтому возникает не одна, а две проблемы. Есть ли хоть одно решение (проблема идентифицируемости)? Если да, то как найти наилучшее решение из возможных? (Это - проблема статистической оценки параметров.) 
	И первая, и вторая задача достаточно сложны. Для решения обеих задач разработано множество методов, обычно достаточно сложных, лишь часть из которых имеет научное обоснование, другие - эвристические. В частности, достаточно часто пользуются статистическими оценками, не являющимися состоятельными (строго говоря, их даже нельзя назвать оценками).
	Коротко опишем некоторые распространенные приемы при работе с системами линейных эконометрических уравнений.
	Система линейных одновременных эконометрических уравнений. Чисто формально можно все переменные выразить через переменные, зависящие только от текущего момента времени. Например, в случае уравнения (7.1) достаточно положить
H(t) = I(t - 1), G(t) = S(t - 4).
Тогда уравнение примет вид
I(t) = сH(t) + a + bG(t) + e.		(7.2)
Отметим здесь же возможность использования регрессионных моделей с переменной структурой путем введения фиктивных переменных. Эти переменные при одних значениях времени (скажем, начальных) принимают заметные значения, а при других - сходят на нет (становятся фактически равными 0). В результате формально (математически) одна и та же модель описывает совсем разные зависимости.
	Косвенный, двухшаговый и трехшаговый методы наименьших квадратов. Разработана масса методов эвристического анализа систем эконометрических уравнений, предназначенных для решения тех или иных проблем, возникающих при попытках найти численные решения систем уравнений.
	Одна из проблем связана с наличием априорных ограничений на оцениваемые параметры. Например, доход домохозяйства может быть потрачен либо на потребление, либо на сбережение. Значит, сумма долей этих двух видов трат априори равна 1. А в системе эконометрических уравнений эти доли могут участвовать независимо. Возникает мысль оценить их методом наименьших квадратов, не обращая внимания на априорное ограничение, а потом подкорректировать. Такой подход называют косвенным методом наименьших квадратов. 
	Двухшаговый метод наименьших квадратов состоит в том, что оценивают параметры отдельного уравнения системы, а не рассматривают систему в целом. В то же время трехшаговый метод наименьших квадратов применяется для оценки параметров системы одновременных уравнений в целом. Сначала к каждому уравнению применяется двухшаговый метод с целью оценить коэффициенты и погрешности каждого уравнения, а затем построить оценку для ковариационной матрицы погрешностей. После этого для оценивания коэффициентов всей системы применяется обобщенный метод наименьших квадратов (см. раздел 7.1).
	Менеджеру и экономисту не следует становиться специалистом по составлению и решению систем эконометрических уравнений, даже с помощью тех или иных программных систем, но он должен быть осведомлен о возможностях этого направления эконометрики, чтобы в случае производственной необходимости квалифицированно сформулировать задание для специалистов по прикладной статистике.
	От оценивания тренда (основной тенденции) перейдем ко второй основной задаче эконометрики временных рядов - оцениванию периода (цикла).

7.3. Оценивание длины периоды и периодической составляющей
 
	Рассмотрим достаточно широкий класс практически полезных непараметрических оценок длины периода и периодической составляющей во временных рядах. Из общих результатов об асимптотическом поведении решений экстремальных статистических задач (см. главу 3) вытекает состоятельность этих оценок.
	Во многих прикладных задачах рассматривают временной ряд (или случайный процесс) 
y(t)=x(t)+e(t),
где x(t) - детерминированная периодическая функция от времени t, т.е. x(t) = x(t + T) при некотором T, где T - длина периода (минимальная из возможных, поскольку 2T, 3T, 4T - тоже, как легко видеть, длины периодов), а e(t) – «шумы», случайные погрешности, искажающие периодический сигнал. Требуется оценить (минимальную) длину периода T = Т0 и периодическую составляющую x(t). При этом не предполагается, что функция x(t) входит в какое-либо параметрическое семейство, например, конечных сумм синусов и косинусов, т.е. рассматривается задача непараметрического оценивания (минимальной) длины периода и периодической составляющей сигнала. 
Примеры прикладных постановок
	1. По акустическим сигналам необходимо установить тип двигателя (и его национальную принадлежность). Предполагается, что двигатели различаются по длине периода и виду основного периодического сигнала. Процедура идентификации основана на оценивании длины периода и периодической составляющей регистрируемого сигнала. Очевидна важность такой задачи при быстрой технической диагностике. В частности, высокая производительность, а потому и высокая экономическая эффективность при ремонте впрямую зависят от умения решать поставленную задачу. Не менее важно по шуму двигателя подводной лодки определить ее тип и национальную принадлежность.
	2. В предположении цикличности экономических процессов требуется по статистическим данным установить длину цикла и на основе вида периодической составляющей построить прогноз, например, прогноз урожайности, емкости рынка тех или иных товаров или экономической активности в целом. Часто говорят об экономических циклах, но почти никогда не дают строгого определения понятия цикла. (Под строгим определением понимаем такое, согласно которому можно отличить «цикл» от «не цикла», можно выделить начало и конец цикла, отделить один цикл от другого, короче, однозначно выделить цикл как самостоятельный объект экономического изучения.)
	3. По мнению авторов работы [2], для среднесрочного прогнозирования развития социокультурной сферы (социально-политического «климата», живописи, музыки, архитектуры, поэзии и т.д.) необходимо выявить ее цикличность с помощью объективных измерений на базе субъективных первичных данных (т.е. на базе оценок экспертов).
	4. В исторических событиях, описываемых согласно распространенной в настоящее время т.н. скалигеровской хронологии, авторы ряда работ обнаруживает цикличность. Эта цикличность полностью объясняется новой статистической хронологией (см., например, [3]), построенной с помощью специальных методов статистики объектов нечисловой природы (см. главу 8.5), предназначенных для анализа текстов исторических хроник, и одновременно служит еще одним подтверждением этой хронологии.
	Описание метода оценивания. Пусть рассматриваемые функции y(t), x(t), e(t) определены на отрезке [0; А]. При фиксированном Т рассмотрим «куски» сигнала y(t) на последовательных отрезках длины Т, т.е. на отрезках [0; Т], [Т; 2Т], [2Т; 3Т], ... Удобно ввести последовательность функций на отрезке [0; Т], полученную сдвигами этих кусков к началу координат: 
y1(t)=y(t), y2(t)=y(t + Т), y3(t)=y(t + 2Т), ...
Все они определены на отрезке [0; Т]. Число этих функций равно числу полных периодов длины Т, укладывающихся на отрезке [0; А], т.е. равно целой части числа А/Т. Отметим еще раз, что если Т - период, то 2Т, 3Т, 4Т, ... - тоже периоды. В дальнейшем из всех периодов будем рассматривать и оценивать, как правило, только наименьший.
	Если Т = Т0 - истинный период (или кратный ему) и погрешности e(t) отсутствуют, то все введенные в предыдущем абзаце функции совпадают между собой и с периодической составляющей: 
x(t)=y1(t)=y2(t)=y3(t)=...
при всех t из [0; Т]. При наличии погрешностей полного совпадения не будет. Однако отклонения определяются лишь шумами в различные моменты времени. При этом в качестве оценки периодической составляющей x(t) естественно взять среднее арифметическое yср(t) функций y1(t), y2(t), y3(t), ... (могут быть использованы и другие виды средних величин).
	Если же Т отличается от истинного периода Т0 (и кратных ему величин), то различия функций y1(t), y2(t), y3(t), ... между собой определяются также и различием значений x(t) в точках, отстоящих друг от друга на интервалы, длина которых кратна Т. 
	В предположении отсутствия погрешностей (т.е. когда e(t) тождественно равно 0) рассмотрим поведение функции yср(t) на отрезке [0; Т] при росте длины интервала А наблюдения сигнала, а потому и при росте числа периодов - целой части числа А/Т. Если Т = Т0 или Т кратно Т0, то, как уже сказано, yср(t) совпадает с периодической составляющей x(t). Если число Т/Т0 иррационально, то можно показать, что значения t + mT (modТ0), где m - натуральные числа такие, что t + mT < A, асимптотически (при росте A) равномерно заполняют отрезок [0; Т0], а потому при выполнении соответствующих условий регулярности, например, непрерывности периодической составляющей сигнала, функция yср(t) приближается к константе - среднему значению периодического сигнала x(t), т.е. интегралу от x(t) по отрезку [0; Т0], деленному на Т0. При этом при конечных А функция yср(t) отлична от константы. (Здесь запись t + mT (modТ0) означает теоретико-числовое сравнение по модулю Т0 , т.е. взятие дробной части от числа (t + mT)/Т0, что соответствует вычитанию соответствующего количества целых периодов Т0.
	Если же число Т/Т0 рационально, то наблюдаем промежуточный случай по сравнению с двумя описанными выше, в котором yср(t), как можно показать, приближается к периодической функции с периодом Т = Т0/n при некотором натуральном n. Эта функция получена усреднением n последовательных участков длины Т0/n периодического сигнала x(t). Она не является константой, хотя разброс ее значений меньше, чем для исходного периодического сигнала, поскольку Т0 - минимальная длина периода. 
	Из сказанного вытекает, что для оценивания Т целесообразно ввести два показателя: показатель разброса F(T;Y)=F(T; y1(t), y2(t), y3(t), ...) множества функций {y1(t), y2(t), y3(t), ...} на отрезке [0; Т] и показатель размаха G(T;Y)=G(T, yср(t)) функции yср(t) на отрезке [0; Т].
 	Символ Y означает здесь, что показатели разброса и размаха строятся по функции y(t).) При этом показатель разброса нацелен на оценку различий в значениях семейства функций при одном и том же значении аргумента. А показатель размаха - на различие значений одной и той же функции при различных значениях аргумента. Ниже выписан ряд формул для этих показателей в случае непрерывного времени. Для дискретного времени их можно адаптировать двумя способами: либо заменив sup на max, а интеграл на сумму; либо расширив область определения используемых функций на весь отрезок, например, соединив соседние точки отрезками или использовав для заполнения пропусков сплайны более высокого порядка.
	В качестве оценки длины периода по фиксированным показателям разброса F(T;Y) и размаха G(T;Y) представляется рациональным использовать то Т, при котором отношение F(T;Y)/G(T;Y) впервые (при росте Т, начиная с 0) достигает минимума. Впервые - поскольку величины, кратные периоду, сами являются периодами. Поскольку показатели разброса F(T;Y) и размаха G(T;Y) могут быть выбраны многими разными способами, можно указанным выше способом построить целое семейство алгоритмов оценивания длины периода. С каждым из которых может быть связано семейство методов оценивания периодической составляющей путем того или иного способа усреднения функций y1(t), y2(t), y3(t), ...
	Показатели разброса и размаха. Ввести показатели разброса F(T;Y)=F(T; y1(t), y2(t), y3(t), ...) можно разными способами. Пусть k=[A/T]. Можно использовать различные функционалы супремумного типа (здесь и далее число слагаемых k не будем указывать в обозначении функционалов). Первым рассмотрим максимальный разброс непосредственно между значениями функций:

Второй функционал супремумного типа будет учитывать не произвольные отклонения, а только отклонения от «средней функции», т.е. иметь вид

Третий функционал показывает, какую зону «заметают» значения функций:

	Для применения функционалов интегрального типа целесообразно сделать замену переменной q=t/T и перейти к функциям Yi(q) = yi(t) = yi(qT), i = 1, 2, ..., k, Yср(q) = yср(t) = yср(qT), определенным на отрезке [0; 1]. В качестве показателя разброса представляется полезным рассмотреть то или иное отклонение совокупности функций Yi(q), i=1, 2, ..., k, друг относительно друга. Можно сказать, что эти функции заполняют некую «трубку», которая тоньше всего при истинном значении периода T, а внутри нее проходит периодическая составляющая X(q) = x(t)=x(qT). Естественно рассмотреть различные функционалы интегрального типа. Например, можно проинтегрировать максимум модулей попарных разностей:

Вместо максимума можно проинтегрировать сумму:

	Как и для функционалов супремумного типа, естественно рассмотреть показатели разброса относительно «средней функции»:

	Следующие четыре функционала, используемые как показатели разброса, аналогичны четырем предыдущим, но включают в себя расчет квадратов:

	Список показателей разброса можно существенно расширить. В частности, естественно использовать также расстояния в функциональных пространствах Lp при произвольных p > 1. А для оценивания периодической составляющей применять не только среднее арифметическое, но и другие виды средних величин.
	Показатели размаха также можно ввести самыми различными способами. Например, можно рассмотреть такой показатель:

	Пусть сделана замена переменной q=t/T и осуществлен переход к функции Yср(q)=yср(t)=yср(qT). Возможными показателями размаха являются:

	Введем среднее значение оценки периодической составляющей:

	К естественным показателям размаха относятся, например, такие:

	Список показателей размаха, как и список показателей разброса, можно значительно расширить. В частности, естественно использовать расстояния в функциональных пространствах Lp при произвольном p > 1. А для оценивания периодической составляющей применять не только среднее арифметическое, но и другие виды средних - медиану, среднее геометрическое и др. Вопрос о выборе наилучших (в каком-либо смысле) показателей размаха и разброса здесь не обсуждается. Некоторые из причин этого отказа от оптимизации системы показателей рассмотрены ниже.
	Алгоритмы оценивания. С прикладной точки зрения остается численно минимизировать один или несколько из 66 описанных выше функционалов Fi(T;Y)/Gj(T;Y), i = 1, 2, ..., 11, j = 1, 2, ..., 6.
	Численная минимизация по одному параметру (возможной длине периода) для современных ЭВМ не вызывает проблем, даже если попросту перебирать возможные значения периода с шагом 0,001. По нескольким реальным или смоделированным сигналам можно установить, какой из функционалов позволяет оценить период и периодическую составляющую реально встречающихся сигналов наиболее точно. Возможно и одновременное использование всех или части функционалов, что в соответствии с методологией устойчивости (см. главу 14) позволяет установить чувствительность оценок к выбору метода оценивания, найти интервал их разброса. Проведенные в Институте высоких статистических технологий и эконометрики расчеты по реальным и смоделированным данным о временных рядах показали, что описанные выше алгоритмы позволяют оценивать длину периода и восстанавливать периодическую составляющую временного ряда достаточно точно с практической точки зрения.
	В литературе по временным рядам проблеме оценивания периода не уделяется необходимого внимания. Фактически рекомендуют пользоваться либо периодограммой, либо автокорреляционной функцией. С помощью периодограммы (несостоятельной оценки спектральной плотности) можно выделить лишь синусоидальные составляющие, в то время как в кратко рассмотренных выше прикладных задачах периодическая составляющая представляет интерес сама по себе, без разложения на гармоники. Вторая рекомендация более полезна. В качестве оценки периода можно взять наименьшее положительное число, в котором достигается локальный максимум автокорреляционной функции. Эмпирический коэффициент автокорреляции - еще один функционал типа тех, что перечислены выше. 
	При поверхностном взгляде на проблемы статистического оценивания, как и на иные проблемы прикладной математики, часто возникает желание обсудить «оптимальность» тех или иных процедур. При более глубоком анализе становятся очевидными два обстоятельства. Во-первых, оптимальность имеет быть лишь в рамках той или иной теоретической модели, при отклонениях от которой оптимальность оценки, как правило, пропадает. Например, выборочное среднее арифметическое как оценка математического ожидания случайной величины оптимальна тогда и только тогда, когда распределение результатов наблюдений - гауссово (доказательство этого утверждения приведено в монографии [4]). С другой стороны, для практически любой статистической процедуры можно подобрать свойство оптимальности так, чтобы эта процедура оказалась оптимальной (как подобрать - это уже дело профессионала). Так, например, метод наименьших модулей оптимален, если погрешности имеют распределение Лапласа, а метод наименьших квадратов - когда их распределение гауссово. Поскольку реальные распределения - не Лапласа и не Гаусса, то указанные математические результаты не могут иметь большого практического значения. 
	Однако представляется полезным получить доказательства состоятельности оценок изучаемых параметров в возможно более широких, например, непараметрических, постановках. Хотя на основе самого факта сходимости нельзя оценить близость оценок к интересующим исследователя параметрам, но получение доказательства состоятельности - первый шаг при изучении скорости сходимости (см. раздел 14.6).
	Состоятельность оценок. Наиболее общий подход к установлению асимптотического поведения решений экстремальных статистических задач развит в статистике нечисловых данных для случая пространств произвольной природы [5]. Согласно этому подходу сначала при фиксированном Т доказывается сходимость (по вероятности) при  значений функционала (показателя разброса) к некоторой предельной функции, а затем проверяются условия, обеспечивающие сходимость Argmin допредельного случайного процесса к Argmin этой детерминированной функции.
	Свойства алгоритмов приходится изучать в рамках тех или иных вероятностно-статистических моделей. Моделей может быть много. Достаточно вспомнить историю Центральной Предельной Теоремы (ЦПТ) теории вероятностей. Она на протяжении более 200 лет доказывалась во все более и более широких условиях, вплоть до необходимых и достаточных условий Линдеберга - Феллера (после чего начались обобщения на зависимые слагаемые, на суммы случайных элементов гильбертовых пространств и др.). Иногда математические модели далеко выходят за пределы, достаточные для обоснования алгоритмов анализа реальных данных. Так, почти всегда распределения реальных величин дискретны и финитны (сосредоточены на конечном отрезке), а потому, в частности, существуют все моменты. Однако условия финитности и дискретности в вероятностно-статистических моделях часто необоснованно ослабляются. В результате возникают проблемы, не имеющие отношения к реальным данным, например, связанные с измеримостью относительно тех или иных сигма-алгебр. Поэтому ограничимся здесь наиболее простыми моделями из адекватных реальным постановкам. Считаем, что читатель знаком с основными определениями, относящимися к теории случайных процессов.
	Теорема 1. Пусть случайный процесс e(t) имеет нулевое математическое ожидание, является стационарным и эргодическим (т.е. выполнена теорема Биркгофа-Хинчина) с непрерывными траекториями. Тогда при фиксированном Т и Aимеем

(сходимость по вероятности), где Еср(q) = Yср(q) - Xср(q), т.е. Еср(q) - среднее арифметическое погрешностей e(qT), e(qT+T), e(qT+2T),...
	Доказательство теоремы 1 проводится стандартными методами теории стационарных временных рядов (с шагом Т) с использованием известного условия достаточно быстрого убывания элементов матрицы Лорана по мере удаления от ее главной диагонали (т.е. условия, необходимого и достаточного для справедливости теоремы Биркгофа-Хинчина). С помощью теоремы 1 можно найти асимптотику введенных выше показателей разброса и размаха.
	Теорема 2. В предположениях теоремы 1 при фиксированном Т и A пронормированные показатели разброса Fi(T;Y) для наблюдаемого сигнала У сближаются по распределению с соответствующими положительными случайными величинами , зависящими от Т, характеристик случайного процесса e(t) и периодической составляющей Х, т.е. существуют числовые последовательности si(k) такие, что

	Доказательство теоремы 2 проводится с помощью достаточно трудоемких (в частности, из-за числа функционалов), но стандартных рассуждений. Они относятся к теории случайных процессов как части теории вероятностей. Эти рассуждения посвящены максимумам (не супремумам, т.к. траектории функции x(t) и случайного процесса e(t) непрерывны) случайных процессов и интегралам от них, с использованием принципа инвариантности (см., например, монографию [6]) и ряда результатов теории стационарных случайных процессов (см., например, монографию [7]). Таким образом, пронормированные функционалы разброса асимптотически не зависят от числа слагаемых - в этом и состоит основной смысл теоремы 2.
	Теорема 3. В предположениях теоремы 1 при фиксированном Т и A показатели размаха для наблюдаемого сигнала У сближаются с соответствующими показателями для периодической составляющей Х, т.е. 

	Для доказательства используются стандартные оценки, основанные на виде конкретных функционалов, задающих показатели размаха. В отличие от теоремы 2 предельные показатели детерминированы. 
	Аналоги теорем 2 и 3 верны также и при использовании (в качестве показателей разброса и размаха) расстояний в функциональных пространствах Lp при произвольном p > 1. А для оценивания периодической составляющей - не только среднего арифметического, но и других видов средних - медианы, среднего квадратического, среднего геометрического, обобщенных средних по Колмогорову (см. главу 11.4) и др.
	Теорема 4. Пусть выполнены условия теоремы 1, периодическая составляющая непрерывна и имеет период Т0. Тогда при фиксированном Т и A показатели разброса (пронормированные) и размаха стремятся к некоторым детерминированным пределам, зависящим только от Т и Т0 , т.е.

(сходимость по вероятности), минимум каждой из функций Fi(T;Т0), i=1, 2, ..., 11, и максимум каждой из функций Gj(T;Т0) , j=1, 2, ..., 6, достигается при T = Т0 и при T, кратных Т0, причем у показателей разброса Fi(T;Т0) возможны и иные минимумы, а у показателей размаха Gj(T;Т0) других максимумов нет. 
	Доказательство вытекает из теорем 2 и 3 и свойств усреднения периодической составляющей при росте длины интервала наблюдения сигнала, описанных в начале настоящего раздела. Предельные значения функционала разброса Fi(T;Т0), вообще говоря, показывают разброс случайной погрешности, другими словами, не всегда зависят от периодической составляющей, а потому из-за нормировки на единичный отрезок в ряде случаев оказываются константами. Вместе с тем численные эксперименты показывают, что отмеченная сходимость к пределу является сравнительно медленной. И минимизация непосредственно функционалов разброса (без учета показателей размаха) при конкретной длине сигнала позволяет достаточно точно выделить периодическую составляющую из массива реальных данных. Однако описанные выше теоретические результаты заставили отказаться от первоначальной гипотезы о том, что достаточно использовать только показатели разброса, и привели к необходимости скорректировать алгоритмы, введя деление на показатели размаха. 
	Теорема 5. В предположениях теоремы 4 оценки, являющиеся первыми локальными минимумами при минимизации по Т отношений одного из 11 перечисленных выше показателей разброса к одному из 6 показателей размаха, являются состоятельными оценками истинного периода Т0, а функция yср(t) является состоятельной оценкой периодической составляющей х(t) на отрезке [0; Т0].
	Согласно теоремам 1 - 4 установлена сходимость (по вероятности) значений допредельных функционалов к предельным при каждом конкретном Т. Поэтому для доказательства сходимости минимумов допредельных функционалов к минимумам предельных можно воспользоваться общей теорией асимптотического поведения решения экстремальных статистических задач. Условие асимптотической равномерной разбиваемости, сформулированное в работе [8], выполнено, как можно показать, в силу непрерывности траекторий случайного процесса (непрерывного сглаживания для временного ряда) и его периодической составляющей. Откуда и вытекает заключение теоремы 5, дающей теоретико-статистическое обоснование использованию системы описанных выше эвристических алгоритмов оценивания длины периода и периодической составляющей. При известной или достаточно точно оцененной длине периода сама периодическая составляющая естественным образом оценивается с помощью усреднения перенесенных к началу координат кусков временного ряда, и в силу теоремы 1 эта оценка является состоятельной. Затем для получения оценки математического ожидания сигнала на всей области его определения указанную оценку можно периодически продолжить. 
	Замечание. При практическом использовании рассматриваемых алгоритмов целесообразно учитывать дополнительные особенности реальных временных рядов. В частности, обратим внимание на неустойчивость супремумов по отношению к выбросам (резко выделяющимся наблюдениям) сравнительно с функционалами интегрального типа. Бывают ситуации, когда методики или аппаратура, регистрирующие значения реальных временных рядов, могут допускать сбои в отдельные моменты времени. Например, если происходит валютный кризис типа «черного вторника», когда курс доллара по отношению к рублю, строго говоря, не определен, другими словами, с точки зрения экономических агентов одновременно существует масса сильно отличающихся курсов. Аналогичная ситуация бывает и в целом ряде других случаев. Набор подходящих ассоциаций вызывают решения руководства страны об обмене денежных знаков, особенно с дискриминационными составляющими. Во всех подобных ситуациях временные ряды дают резкие выбросы (всплески), которые затем, как правило, сглаживаются. Поэтому целесообразно в качестве показателей разброса и размаха использовать функционалы интегрального типа. Вопросам оценивания длины периода и периодической составляющей посвящены многие публикации, в том числе работа [9].

Литература

1. Орлов А.И. Эконометрика. Изд. 4-е, доп. и перераб. – Ростов-на-Дону: Феникс, 2009. - 572 с.
2. Петров В.М., Мажуль Л.А. Цикличность социокультурной сферы и проблемы среднесрочного прогнозирования ее развития. // Математическое и компьютерное моделирование в науках о человеке и обществе. Тезисы докладов Всероссийской конференции. - М.: Государственный ун-т управления, 1999. - С.63-66.
3. Носовский Г.В., Фоменко А.Т. Введение в новую хронологию. (Какой сейчас век?). - М.: КРАФТ+ЛЕАН, 1999. -768 с.
4. Каган А.М., Линник Ю.В., Рао С.Р. Характеризационные задачи математической статистики. - М.: Наука, 1972. – 656 с.
5. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.
6. Биллингсли П. Сходимость вероятностных мер. - М.: Наука, 1977. – 352 с.
7. Крамер Г., Лидбеттер М. Стационарные случайные процессы. - М.: Мир, 1969. – 398 с.
8. Орлов А.И. Асимптотика решений экстремальных статистических задач // Анализ нечисловых данных в системных исследованиях. Сб. трудов. Вып.10. - М.: ВНИИСИ, 1982. - С.4-12.
9. Орлов А.И. Метод оценивания длины периода и периодической составляющей сигнала // Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. -  Пермь: Изд-во Пермского государственного  университета, 1999. С.38-49.

Контрольные вопросы

1. Как соотносятся регрессионный анализ и статистика временных рядов?
2. Чем гетероскедастичные модели рядов динамики отличаются от гомоскедастичных моделей?
3. Опишите различные статистические модели временных рядов.
4. Чем эндогенные переменные отличаются от экзогенных?
5. Какую роль играют показатели разброса и размаха при оценивании длины периода и периодической составляющей?
6. Опишите общую схему оценивания длины периода и периодической составляющей.

Темы докладов, рефератов, исследовательских работ

1. Методы сглаживания временных рядов.
2. Авторегрессионные модели.
3. Различные варианты метода наименьших квадратов при решении систем эконометрических уравнений.
4. Спектральная теория временных рядов.
5. Составьте подробные доказательства теорем, сформулированных в разделе 7.3.
6. Разработайте программу  для ЭВМ, реализующую алгоритмы. описанные в разделе 7.3.
7. Проведите численное изучение скорости сходимости оценок раздела 7.3.

Часть 3. Вероятностно-статистическое моделирование 

	Сначала в главе 8 введем основные понятия и рассмотрим примеры вероятностно-статистического моделирования в демографии, логистике, истории и электротехнике. Затем разберем модели динамики (временных рядов), предназначенные для оценки результатов взаимовлияний факторов (глава 9), вероятностно-статистические модели управления качеством (глава 10), проведения экспертных исследований (глава 11), используемые в медицине (глава 12) и социологии (глава 13). Весьма поучительно сопоставить вероятностно-статистические модели, применяемые в различных областях, обнаружить их близость и вместе с тем констатировать некоторые различия. 

Глава 8. Основы вероятностно-статистического моделирования

8.1. Основные понятия теории статистического моделирования

	Начнем с определения используемых понятий.
	«Модель в общем смысле (обобщенная модель) есть создаваемый с целью получения и (или) хранения информации специфический объект (в форме мысленного образа, описания знаковыми средствами либо материальной системы), отражающий свойства, характеристики и связи объекта-оригинала произвольной природы, существенные для задачи, решаемой субъектом» [1, с.44]. Модели часто выражаются словами или формулами, алгоритмами и иными математическими средствами.
	Математические модели. При более тщательном анализе явления или процесса только словесных моделей, как правило, не достаточно. Необходимо применение достаточно сложных математических моделей. Так, при принятии решений в менеджменте производственных систем используются:
	- модели технологических процессов (прежде всего модели контроля и управления);
	- модели обеспечения качества продукции (в частности, модели оценки и контроля надежности);
	- модели массового обслуживания;
	- модели управления запасами (модели логистики);
	- имитационные и эконометрические модели деятельности предприятия в целом, и др.
	Прежде чем рассматривать конкретные математические модели, необходимо определить основные термины:
	- компоненты системы - части системы, которые могут быть вычленены из нее и рассмотрены отдельно;
	- независимые переменные – внешние величины, не зависящие от проходящих в системе процессов;
	- зависимые переменные - значения этих переменных есть результат (функция) воздействия на систему независимых внешних переменных;
	- управляемые (управляющие) переменные - те, значения которых могут изменяться (в частности, задаваться) исследователем;
	- эндогенные переменные – их значения определяются в ходе деятельности компонент системы (т.е. «внутри» системы);
	- экзогенные переменные - определяются либо исследователем, либо извне, т.е. в любом случае действуют на систему извне.
	При построении любой математической модели желательно придерживаться следующего плана действий: 
	1) сформулировать цели изучения системы; 
	2) выбрать те факторы, компоненты и переменные, которые являются наиболее существенными для данной задачи; 
	3) учесть тем или иным способом посторонние, не включенные в модель факторы; 
	4) осуществить оценку результатов, проверку модели, оценку полноты модели.
	Модели можно делить на различные виды:
	1) функциональные модели - выражают прямые зависимости между эндогенными и экзогенными переменными;
	2) модели, заданные с помощью систем уравнений относительно эндогенных величин. Выражают балансовые соотношения между различными экономическими показателями (например, модель межотраслевого баланса);
	3) модели оптимизационного типа. Основная часть модели - система уравнений относительно эндогенных переменных. Но цель - найти оптимальное решение для некоторого показателя (например, найти такие величины ставок налогов, чтобы обеспечить максимальный приток средств в бюджет за заданное время);
	4) имитационные модели (подробнее о них – ниже) - достаточно точные отображения явлений и процессов Математические уравнения при этом могут содержать сложные, нелинейные, стохастические зависимости.
	С другой стороны, модели можно делить на управляемые и прогнозные. Управляемые модели отвечают на вопрос: «Что будет, если ...?»; «Как достичь желаемого?», и содержат три группы переменных: 
	1) переменные, характеризующие текущее состояние объекта; 
	2) управляющие воздействия - переменные, влияющие на изменение этого состояния и поддающиеся целенаправленному выбору; 
	3) исходные данные и внешние воздействия, т.е. параметры, задаваемые извне, и начальные параметры.
	В прогнозных моделях управление не выделено явно. Они отвечают на вопросы: «Что будет, если все останется по-старому?»
	 Далее, модели можно делить по способу измерения времени на непрерывные и дискретные. В любом случае, если в модели присутствует время, то модель называется динамической. Чаще всего в моделях используется дискретное время, т.к. информация поступает дискретно: отчеты, балансы и иные документы приходят периодически. Но с формальной точки зрения непрерывная модель может оказаться более простой для изучения. В физической науке продолжается дискуссия о том, является ли реальное физическое время непрерывным или дискретным.
	Обычно в достаточно крупные социально-экономические модели входят материальный, финансовый и социальный разделы. Материальный раздел - балансы продуктов, производственных мощностей, трудовых, природных ресурсов. Это раздел, описывающий основополагающие процессы, это уровень, обычно слабо подвластный управлению, особенно быстрому, поскольку весьма инерционен.
	Финансовый раздел содержит балансы денежных потоков, правила формирования и использования фондов, правила ценообразования и.т.п. На этом уровне можно выделить много управляемых переменных. Они могут быть регуляторами.
 	Социальный раздел содержит сведения о поведении людей. Этот раздел вносит в модели принятия решений много неопределенностей, поскольку трудно точно и правильно учесть такие факторы как трудоотдача, структура потребления, мотивация и.т.п.
	При построении моделей, использующих дискретное время, часто применяют вероятностно-статистические методы эконометрики. Среди них популярны регрессионные уравнения и их системы. Обычно используют уравнения не выше второго порядка, линейные по параметрам:

где  - переменная отклика;
	- факторы, от которых зависит ;
	- коэффициенты, которые характеризуют взаимодействие между  и ;
	- отражают взаимодействие между  и;
	- ошибка модели,
	i – номер наблюдения (измерения, опыта, исследования, анализа, испытания), i= 1, 2,   , n
	j – номер фактора (независимой переменной), j = 1,2,…, k.
	Коэффициенты ,  находят эконометрическими методами, например, методом наименьших квадратов. Различные системы регрессионных уравнений, построенные для решения практически важных задач, рассмотрены в [2]. Часто используют лаги (запаздывания в реакции). Для систем, нелинейных по параметрам, применение метода наименьших квадратов встречает трудности. 
	Большое количество конкретных эконометрических и математических моделей принятия решений рассмотрено в [2, 3]. Обратим внимание, что популярные в настоящее время подходы к процессам бизнес-реинжиниринга основаны на активном использовании математических и информационных моделей. 
	Развитие методов математического моделирования. Эта область научно-практической деятельности получила мощный стимул к развитию во время и сразу после Второй мировой войны в рамках интеллектуального движения, связанного с терминами «кибернетика», «исследование операций», а позже - «системный анализ», «информатика». 
	Впрочем, имелась и вполне практическая задача - контроль  качества боеприпасов, вышедшая на первый план именно в годы второй мировой войны. Методы статистического контроля качества приносят (по западной оценке и по нашему мнению, основанному на опыте СССР и России, в частности, на анализе организационно-экономических результатов работы служб технического контроля на промышленных предприятиях) наибольший экономический эффект среди всех экономико-математических методов принятия решений. Только дополнительный доход от их применения в промышленности США оценивается [3] как 0,8% валового национального продукта США, т.е. 24 млрд. долл. (в ценах 2010 г.).
	Для ориентации в практически необозримом море математических моделей экономических явлений и процессов (короче: экономико-математических моделей), необходима их классификация. Первым основанием для классификации служит отношение к практической деятельности. Экономико-математические модели делятся на:
	1) ориентированные на практическое использование (примерами служат модели статистического контроля, с помощью которых принимается решение о приемке или забраковании партии конкретной продукции),
	2) модели, пригодные для теоретических рассуждений, однако в практике их использовать невозможно (примерами служат модели «основного уравнения количественной теории денег» или «спирали ЦЕНЫ - ЗАРПЛАТА» в учебниках макроэкономики).
	Экономико-математическое моделирование. Отметим большое практическое значение моделей логистики или, в другой терминологии, управления запасами (см. раздел 8.3). В последние годы интерес вызывает моделирование финансового рынка.
	Важная проблема - учет неопределенности. Основное место она занимает в вероятностно-статистических моделях экономических и социально-экономических явлений и процессов. Проблемы устойчивости (к допустимым отклонениям исходных данных и предпосылок модели) для социально-экономических моделей рассматриваются в [4].
	Особое место занимают имитационные системы, позволяющие отвечать на вопросы типа: «Что будет, если...?» (Как подчеркнуто в [5, с.212], «любая модель, в принципе, имитационная, ибо она имитирует реальность».) Основа имитации (смысл которой мы будем понимать как анализ экономического явления с помощью вариантных расчетов) - это математическая модель. Согласно [5, с.213], имитационная система - это совокупность моделей, имитирующих протекание изучаемого процесса, объединенная со специальной системой вспомогательных программ и информационной базой, позволяющих достаточно просто и оперативно реализовать вариантные расчеты. Таким образом, под имитацией понимается численный метод проведения машинных экспериментов с математическими моделями, описывающими поведение сложных систем в течение продолжительных периодов времени [2, с.9], при этом имитационный эксперимент состоит из следующих 6 этапов:
	1) формулировка задачи,
	2) построение математической модели,
	3) составление программы для ЭВМ,
	4) оценка пригодности модели,
	5) планирование эксперимента,
	6) обработка результатов эксперимента.
	Имитационное моделирование (simulation modelling) широко применяется в различных областях, в том числе в экономике [2]. Наиболее перспективным представляется синтез экспертных систем и математических моделей, впервые осуществленный в нашей стране еще в 70-е гг.
	При построении, изучении и применении экономико-математических моделей принятия решений используются различные математические методы, именуемые в данном контексте экономико-математическими (хотя они, как правило, могут с успехом использоваться и вне экономики, как, в частности, эконометрические методы анализа эмпирических экономических данных). Экономико-математические методы можно разделить на несколько групп:
	- методы оптимизации,
-	- методы, учитывающие неопределенность, прежде всего, вероятностно-статистические,
	- методы построения и анализа имитационных моделей,
	- методы анализа конфликтных ситуаций (теории игр).
Во всех этих группах можно выделить статическую и динамическую постановки. При наличии фактора времени используют дифференциальные уравнения и разностные методы. 
	Рассмотрим перечисленные группы методов по отдельности.
	Методы оптимизации. Со времен классических работ нобелевского лауреата по экономике академика АН СССР Л.В.Канторовича один из основных классов экономико-математических методов - это методы оптимизации. Оптимальному управлению на основе экономико-математических моделей посвящена обширная литература, в ней используются такие термины, как оптимальное программирование и оптимальное планирование. В случае одного критерия принципиальных сложностей нет - применяют диалоговые компьютерные системы. Сложные проблемы - это выбор целевых функций, оценка устойчивости свойств оптимальности [4], многокритериальность. Для построения моделей с целью принятия решений используют теорию полезности.
	Вероятностно-статистические модели. Исходная научная база таких моделей - теория вероятностей и математическая статистика. Выделяют как самостоятельное направление прикладную статистику. Она включает в себя прикладную математическую статистику, ее программное обеспечение и методы сбора статистических данных и интерпретации результатов расчетов. Только первая из этих трех областей одновременно входит и в математическую статистику. Последняя включает в себя также чисто математическую область, в которой статистические структуры рассматриваются как математические объекты. Они изучаются внутриматематическими методами. Эту область научных исследований в ряде публикаций называют «аналитической статистикой». Таким образом, математическая статистика состоит из прикладной математической статистики, ориентированной на практическое применение, и ветви чистой математики под названием «аналитическая статистика», полезность которой для применений не подтверждена. Можно всю жизнь доказывать теоремы в аналитической статистике, ни разу не обработав реальные данные и даже не думая об этом. В настоящее время аналитическая статистика постепенно вытесняет прикладную математическую статистику из научных журналов и учебных курсов. Так, в основном в России журнале по теории вероятностей и математической статистике «Теория вероятностей и ее применения» уже почти не встретишь статей, имеющих отношение к работе с реальными данными.
	Статистические методы активно применяются в различных областях экономики, причем в России - уже более 150 лет. Как известно, эконометрика (или эконометрия) - это статистические методы анализа эмпирических экономических данных [3]. Однако в ХХ в. этот термин употреблялся в нашей стране почти исключительно в переводной литературе. 
	Имеются многочисленные работы по различным конкретным разделам прикладной статистики и эконометрики: 
	- по регрессионному анализу (методам восстановления зависимости и построения моделей, прежде всего линейных);
	- по планированию эксперимента;
	- по методам классификации (дискриминантного анализа, кластер-анализа, автоматической классификации, распознавания образов, систематики и типологии, теории группировок);
	- по многомерному статистическому анализу экономической информации;
	- по методам анализа и прогнозирования временных рядов;
	- по теории робастности (robustness), т.е. устойчивости статистических процедур к допустимым отклонениям исходных данных и предпосылок модели, 
	- по использованию различных индексов, в частности, индекса инфляции.
	Основной журнал в России, в котором публикуются исследования по прикладной статистике и, особенно, по планированию эксперимента - это «Заводская лаборатория» (секция «Математические методы исследования»).
	Теория конфликтных ситуаций (теория игр). Теория игр (более подходящее название - теория конфликта, или теория конфликтных ситуаций) зародилась как теория рационального поведения  двух игроков с противоположными интересами. Она наиболее проста, когда каждый из них стремится минимизировать свой средний проигрыш, т.е. максимизировать свой средний выигрыш. Отсюда ясно, что теория игр склонна излишне упрощать реальное поведение в ситуации конфликта. Участники конфликта могут оценивать свой риск по иным критериям. В случае нескольких игроков возможны коалиции. Большое значение имеет устойчивость точек равновесия и коалиций.
	В экономике еще 150 лет назад теория дуополии (конкуренции двух фирм) О.Курно развита на основе соображений, которые мы сейчас относим к теории игр. Новый толчок дан классической монографией Дж. фон Неймана и О.Моргенштейна [6], вышедшей вскоре после Второй мировой войны. В учебниках по экономике обычно разбирается «дилемма заключенного» и точка равновесия по Нэшу (ему присуждена Нобелевская премия по экономике за 1994 г.). 
	По теории игр имеется обширная литература, часть из которой непосредственно адресована экономистам. Однако в практической работе теория игр почти не используется. Если же это происходит, то она обычно выступает как часть более широкого подхода, ассоциированного с терминами «принятие решений», «конфликтная ситуация».
	Критика математической экономики. Второе из указанных выше направлений экономико-математического моделирования, т.е. посвященное моделям, которые непосредственно использовать в практической работе невозможно, обычно связывается с термином «математическая экономика». О нем акад. РАН Н.Н.Моисеев писал:
	«...Имеется развитое направление исследований, получившее название математической экономики. В работах, относящихся к этому направлению, изучаются свойства математических моделей, построенных на основе формализации некоторых понятий экономической науки, таких как, например, конкурентное равновесие. Используя некоторые предположения о функциональных зависимостях (например, о выпуклости функций и множеств), исследователи анализируют общие свойства моделей - доказывают теоремы о существовании экстремальных значений тех или иных параметров, изучают свойства точек равновесия, траекторий равновесного роста и т.д. Эти исследования содействовали становлению экономико-математических методов, помогали и помогают отточить математические методы, используемые в прикладных исследованиях. Однако с развитием математической экономики рассматриваемые в ней проблемы все более уходили от экономической реальности и становились чисто математическими. В результате этого в настоящее время математическая экономика представляет собой своеобразный раздел математики, изучающий математические конструкции, которые лишь с большой степенью произвола можно назвать экономическими моделями...» (из предисловия к учебному пособию А.В. Лотова «Введение в экономико-математическое моделирование» [7, с.6]). 
	Методы математического моделирования реальных экономических явлений и процессов, разумеется, полезны и необходимы, в частности, для успешной работы менеджеров, экономистов и инженеров, как на предприятиях, так и на государственной службе. Но нужны только те математические результаты, которые помогают экономисту в работе, в частности, методы теории принятия решений, эконометрики, прикладной математической статистики, экспертных оценок (в том числе сценарный метод).
	Нельзя не согласиться с тем очевидным утверждением, что некоторые теоретические работы, которые в настоящее время не удается связать с практикой, в будущем могут оказаться полезными для решения реальных задач. Лучший пример - история ядерной физики. Однако нельзя не указать на многочисленные монографии и сборники статей, в которых чисто математические рассуждения даны «под экономическим соусом».  
	Экономико-математические модели иногда используются в качестве «дымовой завесы» для пропаганды сомнительных с научной точки зрения воззрений. В качестве примера рассмотрим некоторые разделы западных курсов «экономикс».
	Они построены, естественно, на обобщении западной экономической жизни. Так, потребитель предполагается совершенно рациональным, точно знающим, что он хочет максимизировать (т.е. знающим свою функцию полезности), а также полностью игнорирующим всех остальных потребителей, действующим совершенно самостоятельно. Общество состоит из эгоистичных индивидуумов-атомов, отстаивающих только свои интересы, т.е. живущих по принципу «человек человеку - волк». Законы правового государства удерживают такое общество от самоуничтожения.
	Возможно, такая экономико-математическая модель годится для части жителей западных стран, прежде всего США. Бесспорно совершенно, что она не годится для нас, для русских. Мы плохо знаем, что нам нужно, действуем под влиянием друзей, общественного мнения, моды, привыкли жить в коллективе, общине, семье, говорим о соборности, игнорируем экономические стимулы. 
	Нобелевская премия по экономике за 2002 год была присуждена Вернону Смиту и Даниэлю Кингману за экспериментальное изучение поведения потребителей. Установлено, что лица, чье потребительское поведение может быть описано функцией полезности, реально составляют очень незначительную часть человеческих популяций. Остальные (в части экономики) действуют преимущественно иррационально, точнее, их действия являются рациональными на другом (более высоком) уровне рефлексии. Подавляющая часть людей вполне осознанно может пойти на ограничение личных потребностей ради общественного блага.
	В некоторых публикациях с помощью экономико-математических моделей сознательно вводят читателей в заблуждение. В качестве примера возьмем учебник Р. Лэйарда по макроэкономике. В нем «доказывается», что «инфляционный налог» равен дефициту бюджета. Отсюда рекомендация - для снижения инфляции необходимо ограничивать поступление новых денежных масс в оборот (например, не выдавать зарплату). Однако это утверждение выводится в предположении, что суммарный выпуск постоянен, чего не было у нас - до 1997 г. объем производства монотонно падал. При этом Р. Лэйарда отнюдь не смущает, что в другой главе, говоря о «мультипликаторе Кейнса», он рекомендует увеличивать государственные расходы в период спада производства. Принципиально ошибочно рассмотрение Р. Лэйардом спирали «заработная плата - цены», основанное на математической ошибке (функция принимается за константу). Но вывод каков: чтобы снизить инфляцию, надо, якобы, увеличить безработицу! 
	Название «Математическая экономика» носят и некоторые публикации, лишенные указанных выше недостатков.

8.2. Демографические модели

	Для подготовки и принятия решений в государственном и муниципальном управлении, в маркетинге, в стратегическом менеджменте и в других областях организационно-экономической деятельности необходимы прогнозы численности населения, его полового и возрастного состава. 
	Возможны два подхода к прогнозированию демографических характеристик. Можно взять временной ряд численности населения и прогнозировать его с помощью того или иного статистического или экспертного метода. При этом формирование модели формирования населения не предполагается. Несмотря на это, из-за большой инерционности демографических процессов такое «внешнее» прогнозирование оказывается полезным, особенно на небольших интервалах прогноза.
	«Внешнее» прогнозирование не всегда позволяет разобраться в существе процесса. Рассмотрим такой показатель, как смертность (число умерших на 1000 человек). Смертность зависит не только от здоровья населения, но и от его полового возрастного состава. Например, в «молодом» обществе много молодых семей и велика рождаемость, его численность растет, а потому смертность мала, хотя старшее поколение может умирать сравнительно рано, в 40-50 лет. Наоборот, в стабилизировавшемся по численности или вырождающемся обществе, в котором много пожилых людей и мало молодежи, смертность велика. 
	Рост (падение) смертности может быть вызван двумя основными причинами – ухудшением (улучшением) социально-экономического положения населения или же изменением половой и возрастной структуры населения. Однако если наблюдается резкое падение (или рост) смертности, то это – результат действия первой причины, поскольку структура населения меняется медленно. Например, в СССР в результате антиалкогольной компании 1980-х гг. смертность заметно снизилась (относительно прогнозируемой по предыдущим годам зависимости), а в 1990-х гг. в РФ резко повысилась, особенно в начале десятилетия, из-за снижения в разы жизненного уровня населения и тяжелой социально-экономической обстановки.
	С рождаемостью ситуация сложнее, поскольку на нее влияют не только перечисленные причины, но и изменение стиля жизни. Если сто и более лет назад интересы большинства женщин были ориентированы на семью с большим числом детей (многие из которых умирали во младенчестве), то в течение ХХ в. значительная часть женской половины человечества стала заниматься профессиями, которые ранее рассматривались как чисто мужские. Перед ними возник выбор – рождение детей или профессиональное продвижение. В результате появилось понятие «планирование семьи», а рождаемость сократилась. 
	Правительства различных стран успешно занимались управлением рождаемостью. Для одних стран, таких, как Китай, Индия, целью было сокращение рождаемости. В странах с сильной государственной властью эффективными оказались административные методы. Например, в Китае в городах долгое время семье разрешалось иметь только одного ребенка. За рождением второго следовали санкции – штрафы, повышенная оплата за детские товары, медицинское обслуживание, обучение. Поскольку в европейских странах (Франции и Германии) падение рождаемости во второй половине ХХ в. угрожало депопуляцией, то для стимулирования рождаемости применялись экономические меры: выплата значительных пособий на воспитание детей. Во Франции пособия на трех детей превышали среднюю заработную плату по стране. В результате снижение численности коренного населения удалось предотвратить.
	Демографические модели. Для более точного демографического прогнозирования, количественного, а не только качественного, необходимо использовать статистические модели динамики половозрастного состава населения [3]. Такие модели основываются на прослеживании судьбы поколения, рожденного в определенный временной промежуток, например, в год t0. Пусть всего в этот год родилось N(t0) человек. Далее каждый год их количество будет уменьшаться, пока не достигнет 0. 
	Через год численность поколения составит N(t0+1) человек. За этот год умерли N(t0) - N(t0+1) человек. Частота смерти за первый год составляет q(1) = (N(t0) - N(t0+1))/N(t0), а 1- q(1) - частота того, что человек благополучно перейдет в следующую возрастную категорию. Ясно, что N(t0+1)= N(t0)(1- q(1)).  
	Через два года численность поколения составит N(t0+2) человек. За второй год умерли N(t0+1) - N(t0+2) человек. Частота смерти за второй год составляет q(2) = (N(t0+1) - N(t0+2))/N(t0+1). При этом (1- q(2)) - частота того, что человек благополучно перейдет в следующую возрастную категорию. Ясно, что N(t0+2) = N(t0)(1-q(1))(1- q(2)). И так далее. 
	Через k лет, k = 1, 2, 3, …, численность поколения составит N(t0+k) человек. За k-й год умерли N(t0+(k-1)) - N(t0+k) человек. Частота смерти за второй год составляет q(k) = (N(t0+(k-1)) - N(t0+k))/N(t0+ (k-1)). Очевидно, 1- q(k) - частота того, что человек благополучно перейдет в следующую возрастную категорию. Ясно, что N(t0+ k)= N(t0) (1-q(1))(1- q(2))...(1- q(k)).
	Возрастные коэффициенты смертности. Здесь q(1), q(2),... q(k),…- погодовые возрастные коэффициенты смертности. Это – частоты некоторых событий, т.е. оценки соответствующих вероятностей. Но поскольку наблюдений много, можно не делать различия между частотами и вероятностями. Возрастной коэффициент смертности q(k) есть условная вероятность того, что человек, проживший (k-1) лет, умрет в течение k-го года. Возрастные коэффициенты смертности рассчитывают не только для всего населения в целом, но отдельно для мужчин и женщин, для различных регионов, социальных групп (например, жителей крупных городов и сельских поселений). Часто используют более длинные промежутки времени, чем год, особенно при выделении поколений. Например, поколением считаются все, родившиеся с 1945 г. по 1954 г. Очевидно, возрастные коэффициенты смертности зависят от начала отсчета t0  - от «даты рождения» поколения. Прослеживают судьбу поколения в течение 90-100 лет, поскольку в настоящее время лишь мизерные доли процента численности поколения живут дольше. 
	На возрастные коэффициенты смертности конкретных поколений никак не влияет половозрастная структура всего населения. А вот изменение социально-экономического положения и уровня медицинского обслуживания населения, как показывают статистические наблюдения, отражаются в изменении возрастных коэффициентов смертности. Например, в 1999 г. возрастные коэффициенты смертности российских мужчин и женщин выросли (по сравнению с предыдущим годом) примерно на 10% для всех поколений от 20 до 60 лет [3]. Это наглядно говорит об ухудшении социально-экономической обстановки и условий жизни в 1999 г., что можно связать с двукратным падением уровня жизни среднего жителя России в результате экономического кризиса, последовавшего за дефолтом в августе 1998 г.  
	Погодовые возрастные коэффициенты смертности q(1), q(2),... q(k),…позволяют рассчитать различные демографические характеристики поколения. Например, вероятность p(k) того, что продолжительность жизни представителя поколения составляет ровно k лет, равна вероятности того, что он переживет (k-1) контрольных сроков и умрет до наступления k-го, т.е. равна
		(8.1)
Таким образом, продолжительность жизни моделируется дискретной случайной величиной Х с распределением 

Средняя продолжительность жизни в рассматриваемом поколении, т.е. математическое ожидание продолжительности жизни, есть
.
	Строго говоря, все эти характеристики можно рассчитать только после того, как поколение закончит свой жизненный путь (по крайней мере через сто лет после начала отсчета t0). Однако судьба ушедшего поколения волнует немногих. И возрастные коэффициенты смертности используются в демографии по-другому.
	Базовая модель в демографии может быть описана так: возрастные коэффициенты смертности постоянны и равны значениям, рассчитанным за последний год. Это значит, что демографическая ситуация в год t описывается вероятностями p1(k), k = 1, 2, …, причем p1(k) = p(k) для поколения, чей жизненный путь начался в году t – k. 
	Таким образом, по данным 2010 г. вероятность p1(1) рассчитывается для рожденных в 2009 г., p1(2) – для  детей 2008 года рождения, p1(3)  - для поколения 2007 г.,…, p1(20) – для тех, кто родился в 1990 г., …, p1(40) – для поколения 1970 г.,…, p1(70) – для родившихся в 1940 г.,…, p1(100) - для лиц 1910 г. рождения. Можно сконструировать случайную величину Х1 – продолжительность жизни в предположении постоянства имеющихся в фиксированный момент временных коэффициентов смертности. Ее распределение имеет вид 

	Средней ожидаемой продолжительностью предстоящей жизни (СОППЖ), или, короче и менее точно, ожидаемой продолжительностью жизни называется

	Средняя ожидаемая продолжительность предстоящей жизни – наиболее общая характеристика качества жизни. Чем она выше, тем лучше живут люди, тем лучше социально-экономические условия, медицина, обычаи. 
	Изменения СОППЖ в различные периоды времени имели различные причины. В первой половине ХХ в. СОППЖ росла в основном за счет снижения детской смертности. Затем наступила очередь снижения потерь в рабочих возрастах (20-60 лет). «Естественная» продолжительность жизни, при отсутствии ранних заболеваний, травм, убийств и самоубийств, сравнительно мало меняется во времени. Есть сведения, что она равна 89+5 лет. 
	СОППЖ в России. Приведем взятую из [3] табл. 8.1 значений СОППЖ в России за 1960-1999 гг. Ее анализ показывает, что самым лучшим с точки зрения СОППЖ был 1965 год. Действительно, это был год, когда положение СССР в мире было самым лучшим за весь ХХ век. Последствия войн ушли в прошлое. Успехи СССР в мирном строительстве, в космосе, в области атомной энергии были общепризнанными. Социально-психологическое состояние населения было наилучшим за ХХ век. 
	По значениям СОППЖ выделяются два периода. В первом, с 1960 г. по 1990 г., СОППЖ для мужчин колеблется между 61,4 (1980 г.) и 64,6 (1964 г.), для женщин между 72,0 (1960 г.) и 74,3 (1990 г.). В дальнейшие годы (1991-1999) все значения СОППЖ для мужчин меньше, чем минимум за годы первого периода. Сначала идет резкое монотонное падение – с 63,8 лет в 1990 г. до 57,6 лет в 1994 г., всего на 6,2 года. Затем медленный подъем до 61,3 лет в 1998 г. И опять спад до 59,9 лет. Для женщин картина аналогичная, но менее выраженная. Сначала идет монотонное падение – с 74,3 лет в 1990 г. до 71,2 лет в 1994 г., всего на 3,1 года. Затем медленный подъем до 72,9 лет в 1998 г. И опять спад до 72,4 лет. Это меньше, чем любое значение за период 1965-1990 гг. Табл.1 демонстрирует корреляцию изменений СОППЖ и социально-экономического положения населения. Наибольшее падение СОППЖ как для мужчин, так и для женщин приходится на годы наиболее резкого снижения жизненного уровня, а именно, 1992-1994 гг. и 1999 г.
 
Таблица 8.1
Средняя ожидаемая продолжительность
предстоящей жизни в России
Год	Мужчины	Женщины	Среднегодовой прирост	
			Мужчины	Женщины	
1960	63,6	72,0			
1965	64,6	73,4	0,19	0,28	
1970	63,1	73,4	-0,29	0,01	
1975	62,5	73,2	-013	-005	
1980	61,4	72,9	-0,22	-0,07	
1985	62,8	73,3	0,27	0,10	
1990	63,8	74,3	0,21	0,21	
1991	63,5	74,3	-0,27	-0,08	
1992	62,0	73,8	-1,50	-0,50	
1993	58,9	71,9	-3,09	-1,92	
1994	57,6	71,2	-1,32	-0,70	
1995	58,3	71,7	0,68	0,52	
1996	59,8	72,5	1,48	0,79	
1997	60,8	72,9	1,00	0,40	
1998	61,3	72,9	0,55	0,04	
1999	59,9	72,5	-1,37	-0,55	

	Артефакт или факт? Как и иные данные о социально-экономических явлениях и процессах, демографические данные зачастую пытаются интерпретировать в угоду политическим концепциям. Например, утверждается, что небывалый в мирное время подъем смертности в России в первой половине 1990-х годов – артефакт. Значительное снижение СОППЖ (табл. 8.1), значительное возрастание смертности в рабочих возрастах (см. табл. 8.2 из [3]) и другие факты неопровержимо свидетельствуют, что небывалый в мирное время подъем смертности в России в первой половине 1990-х гг. – достоверный факт. 
	Как же некоторые авторы пытаются опровергнуть этот достоверный факт? Во-первых, они пользуются не возрастными коэффициентами смертности, а данными об общем чисел умерших, пытаясь скрыть потери от «реформ» среди всех умерших, число которых монотонно возрастает в соответствии с общим постарением населения. Во вторых, они анализируют совместно два последовательных процесса – снижение смертности в 1985-1987 гг. в результате антиалкогольной компании и повышение смертности в 1991-1994 гг. вследствие «реформ». Они показывают, что мужские поколения, родившиеся между 1945 г. и 1984 г., и женские поколения, родившиеся между 1945 и 1974 г. (т.е. основные рабочие возраста), от совместного действия этих дух процессов проиграли, остальные (дети и пожилые люди) несколько выиграли. Это говорит только о том, что положительный эффект антиалкогольной компании оказался перекрыт потерями населения в первые годы «реформ», но не может привести к выводу об отрицании этих потерь (подробнее см. в [3]). 
	Из двух указанных ошибок первая - основная. Анализ возрастных коэффициентов – основа изучения демографических процессов. Как отмечено в начале пункта, попытки непосредственно анализировать сводные характеристики порождают ошибки.

Таблица 8.2
Возрастные коэффициенты смертности (число смертей
на 1000 человек) в России в 1991-1998 г. [13, с.309].
Возрастные группы	1991	1994	1998	1994/1991(%)	
(1)	(2)	(3)	(4)	(5)	
Мужчины	
15-19	1,7	2,1	1,9	123	
20-24	2,7	4,0	4,1	148	
25-29	3,5	5,5	4.6	157	
30-34	4,5	7,7	5,8	171	
35-39	5,9	10,6	7,5	180	
40-44	8,0	15,2	10,2	190	
45-49	11,6	20,8	14,4	179	
50-54	16,5	29,1	19,5	176	
55-59	23,3	36,2	28,6	155	
60-64	34,6	51,0	38,1	136	
65-69	47,3	64,2	55,3	136	
70 и старше	104,0	121,4	97,0	116	
Женщины	
15-19	0,7	0,8	0,8	114	
20-24	0,7	1,0	1,0	143	
25-29	0,9	1,3	1,2	143	
30-34	1,1	1,8	1,5	164	
35-39	1,6	2,7	2,0	169	
40-44	2,5	4,2	2,8	168	
45-49	3,8	6,2	4,4	163	
50-54	5,5	9,0	6,4	163	
55-59	8,6	12,3	10,0	143	
60-64	13,6	18,4	14,5	135	
65-69	22,0	27,1	24,1	123	
70 и старше 	78,1	89,6	77,5	115	

	Рождаемость. При изучении рождаемости необходимо, во-первых, знать численность женских контингентов (поколений) различных возрастов, во-вторых, иметь возрастные коэффициенты рождаемости, например, число рождений на 1000 женщин соответствующего возраста. 
	Как и при изучении смертности, возможны два подхода к моделированию процесса рождаемости. В первом из них прослеживается судьба женской части поколения. Пусть N1(t0) – численность поколения (число девочек, родившихся в год t0). Число женщин, доживших до k лет, обозначим N(t0)p2(k). (Обратите внимание, что вероятности p2(k) имеют иной смысл, чем при рассмотрении смертности. Они являются аналогом функции распределения, а не плотности.) Число детей, рожденных женщинами этого поколения в k-й год, обозначим  Здесь  - возрастной коэффициент рождаемости. 
	Во втором подходе возрастные коэффициенты рождаемости для всех поколений принимаются равными, причем равными тем, что имеют быть в последний рассматриваемый год (подробнее этот подход расписан выше при обсуждении сводных характеристик смертности). Пусть , k = 1,2,…, - соответствующие возрастные коэффициенты рождаемости, p3(k) - доли женщин, доживших до k лет (на анализируемый год). Пусть случайная величина Y – число детей, рожденных одной конкретной женщиной. Основная сводная характеристика рождаемости – коэффициент суммарной рождаемости, т.е. среднее число рожденных детей на одну женщину, т.е.
.
	В табл. 8.3 приведены коэффициенты суммарной рождаемости по годам с разбивкой на городских и сельских жителей [3]. Очевидно, в перспективе (в следующем поколении через 20-30 лет) население будет расти, если в среднем на одну женщину приходится более двух детей, и уменьшаться, если менее двух. Если коэффициент суммарной рождаемости около 2,0, то ситуация является пограничной и неустойчивой.
	Из табл. 8.3 очевидно, что из пограничного состояния 1970 г. страна перешла в область депопуляции (сокращения численности населения), причем ситуация резко ухудшилась в годы «реформ». Обратим внимание на различие между городом и селом. В 1970-1990 гг. сельское (по месту рождения) население увеличивалось, в то время как город в течение всего рассматриваемого периода не обеспечивал воспроизводство населения. Это различие указывает на принципиальную возможность управления демографическими процессами. 

Таблица 8.3
Коэффициенты суммарной рождаемости в России
Годы	Коэффициенты суммарной рождаемости	
	Город	Село	Всего	
1970	1,70	3,38	2,00	
1980	1,71	2,50	1,89	
1990	1,83	2,63	1,89	
1995	1,24	1,84	1,34	
1999	1,07	1,48	1,17	

	С 1980 по 1990 г. рождаемость выросла как в городе, так и на селе, однако суммарный коэффициент остался прежним. Это объясняется сокращением доли сельского населения и возрастанием доли городского. 
	Миграция. Большое значение в изменении численности населения страны играет миграция. Разность между числом прибывших в страну и числом уехавших называется чистой миграцией. Разность между числом родившихся и числом умерших называется естественным приростом. Общий прирост населения есть сумма естественного прироста и чистой миграции. В табл. 8.4 [3] приведены сведения о численности населения России во второй половине ХХ в. и компонентах ее изменения. Из нее видно, что чистая миграция составляет заметную часть от изменения численности населения.

Таблица 8.4
Изменение численности населения России
Год	Численность населения в  конце года (тыс. чел.)	Изменение численности населения	
		Общий прирост (тыс. чел.)	В том числе	
			Естественный прирост	Чистая миграция	
1955	112266	9321	9160	161	
1960	120766	8500	9515	-1015	
1965	127189	6423	7067	-644	
1970	130704	3515	4180	-195	
1975	134690	3986	4180	-195	
1980	139028	4338	3730	607	
1985	143835	4807	3939	869	
1990	148543	4707	3649	1058	
1991	148704	162	110	52	
1992	148673	-31	-207	176	
1993	148366	-308	-738	430	
1994	148306	-60	-870	810	
1995	147976	-330	-832	502	
1996	147502	-474	-818	344	
1997	147105	-398	-751	353	
1998	146693	-411	-696	285	
1999	145925	-768	-923	155	
2000	145185	-740	-954	214	

	Замечание. Демографические данные получают в результате учета населения, проводимого государственными органами. Система учета такова, что прибывшие в страну мигранты в дальнейшем «растворяются» среди коренного населения, смертность и рождаемость среди недавних мигрантов не отделяются от таковых среди коренного населения. Это приводит к тому, что возрастные коэффициенты типа p1(k) рассчитываются с учетом мигрантов. Прослеживание судьбы поколения и нахождение коэффициентов типа p(k) становится невозможным из–за эмиграции части поколения. Если возрастные коэффициенты коренного населения и мигрантов сильно различаются, то искажение итоговых демографических характеристик населения может быть заметным. Однако в российской ситуации начала XXI века указанным различием можно пренебречь.
	Прогнозирование демографической ситуации. Считая возрастные коэффициенты смертности и рождаемости постоянными, можно рассчитать прогнозируемое изменение половозрастной структуры населения (при отсутствии миграции). 
	Обычно прогнозирование проводят, исходя из некоторого числа сценариев развития ситуации. Например, в 2000 г. опубликован официальный прогноз Госкомстата РФ изменения численности структуры населения на 2000 - 2015 гг. [3]. В нем рассмотрено три сценария – оптимистический, вероятный и пессимистический.
	Оптимистический сценарий предполагает экономический рост, повышение уровня жизни, а потому увеличение рождаемости, средней ожидаемой продолжительности предстоящей жизни (СОППЖ), а также достаточно высокую миграционную подвижность. 
	В вероятном сценарии предполагается постепенное улучшение социально-экономической ситуации в России, но гораздо более медленными темпами, чем в оптимистическом сценарии.
	В пессимистическом сценарии стагнация сложившейся экономической ситуации влечет сохранение негативных тенденций в области смертности и миграции и делает маловероятным повышение рождаемости. 
	Динамика коэффициентов суммарной рождаемости приведена в табл. 8.5. Даже для оптимистического сценария невозможен выход на уровень простого воспроизводства. Это связано с накопившимися негативными тенденциями в структуре населения и невозможностью быстрого изменения возрастных коэффициентов рождаемости. 
	 В табл. 8.6 приведены прогнозные значения продолжительности жизни. В вероятном сценарии предполагается выйти на уровень 1960-1990-х гг., в оптимистическом превзойти его.

Таблица 8.5
Среднее число детей на одну женщину
Сценарий	1999	2005	2010	2015	
Пессимистический	Город	1,072	0,946	0,873	0,800	
	Село	1,479	1,223	1,052	0,932	
Вероятный	Город	1,072	1,062	1,131	1,200	
	Село	1,479	1,429	1,382	1,360	
Оптимистический	Город	1,072	1,177	1,388	1,600	
	Село	1,479	1,634	1,711	1,788	

Таблица 8.6
Средняя ожидаемая продолжительность предстоящей жизни, лет
Сценарий	1999	2005	2010	2015	
Пессимистический	Мужчины	59,9	59,7	59,7	59,7	
	Женщины	72,4	72,3	72,3	72,3	
Вероятный	Мужчины	59,9	60,8	61,5	62,3	
	Женщины	72,4	73,0	73,4	73,8	
Оптимистический	Мужчины	59,9	62,0	63,4	64,9	
	Женщины	72,4	73,8	74,6	75,4	

	Труднее всего спрогнозировать будущую миграцию, поскольку она определяется развитием внутриполитической и социально-экономической ситуации во многих странах, связанных с Россией миграционными потоками. Мнение Госкомстата РФ отражено в табл. 8.7.

Таблица 8.7
Прогноз чистой миграции (тыс. человек в год) на 2000-2015 гг.
Сценарий	1999	2005	2010	2015	
Пессимистический	154,6	-0,5	-15,0	-22,1	
Вероятный	154,6	167,1	148,4	133,3	
Оптимистический	154,6	323,2	300,1	278,3	

	Прогноз фактической численности населения России приведен в табл. 8.8. К 2015 г. население уменьшится. По пессимистическому сценарию – на 20,2 миллиона человек по сравнению с 1999 г.; по вероятному – на 11,5 миллиона; по оптимистическому – на 3,1 миллиона. И только для оптимистического варианта намечается небольшой подъем с 2010 г. по 2015 г. (на 0,1 млн. человек).

Таблица 8.8
Прогноз численности населения России (млн. человек)
Сценарий	1999	2005	2010	2015	
Пессимистический	145,9	139,3	133,0	125,7	
Вероятный	145,9	141,2	137,9	134,4	
Оптимистический	145,9	143,1	142,7	142,8	

	Из приведенных результатов прогнозирования вытекают вполне определенные выводы в области стратегического менеджмента. Сокращение численности населения означает сокращение внутреннего рынка. При более подробных расчетах можно получить прогнозируемую динамику для различных возрастных групп и соответствующие экономические выводы. Например, падение общего числа рождений в 1990-х гг. (в 2 раза) влечет в дальнейшем сокращение рынка образовательных услуг и рынка труда, а также числа лиц, годных к военной службе. После 2005 г. численность населения в рабочих возрастах начнет быстро снижаться, а доля пенсионеров в численности населения - возрастать, что, очевидно, вызовет трудности в пенсионном обеспечении. 
	Сопоставление прогноза с реальностью показывает, что реальная траектория проходит между вероятным и оптимистическим прогнозами. По итогам всероссийской переписи 2002 г. численность населения объявлена на 2 миллиона больше, чем показывал текущий учет. В 2009 г. Росстат сообщил, что численность населения следует уменьшить на те же 2 миллиона, следовательно, в октябре 2009 г. в РФ проживает около 139,8 млн. человек.  
	Различные виды прогнозов. При рассмотрении моделей взаимосвязи факторов типа ЖОК мы увидим (глава 9), что при моделировании развития какого-либо социально-экономического процесса целесообразно рассматривать три типа сценариев: «Пассивный», «Активный» и «Цель». Первый из них соответствует случаю, когда не меняются эндогенные параметры (т.е. внешние по отношению к моделируемой системе параметры, обычно параметры управления). Сценарии второго типа соответствуют заданным законам изменения параметров управления. Для сценариев типа «Цель» для заданных целевых ограничений или значений параметров находятся способы управления (правила изменения параметров управления), обеспечивающие оптимальное (в том или ном смысле) достижение цели. 
	В Центре демографии и экологии человека Института народнохозяйственного прогнозирования РАН разработана система сценариев демографических прогнозов на период до 2050 г. [3]. Четыре сценария рассчитаны в предположении нулевой чистой миграции (эндогенными переменными, т.е. переменными управления, являются показатели рождаемости и смертности, а именно, число рождений на одну женщину, средняя продолжительность жизни мужчин и женщин):
	Сценарий 1: низкая рождаемость (1,3 рождения на одну женщину; в 1999 г. в России – 1,17 рождений на одну женщину), высокая смертность (СОППЖ для мужчин – 59,9 лет, для женщин – 72,5 лет, как в 1999 г.).
	Сценарий 2: низкая рождаемость (как в сценарии 1), снижающаяся смертность (СОППЖ растет и к 2050 г. достигает 77,0 лет для мужчин и 83,0 лет для женщин).
	Сценарий 3: растущая рождаемость (к 2050 г. поднимается до 2,0 рождений на одну женщину), высокая смертность (как в 1999 г.).
	Сценарий 4: растущая рождаемость (как в сценарии 3) и снижающая смертность (как в сценарии 2). 
	Сценарий 1 относится к типу «Пассивный», сценарии 2 - 4 – к типу «Активный». Прогноз численности населения приведен в табл. 8.9. Только сценарий 4 соответствует выходу России из демографического тупика – достижению к 2050 г. воспроизводимости населения и повышению средней продолжительности жизни до уровня передовых в этом отношении стран. Однако и в этом случае из-за накопившихся к настоящему моменту проблем населению России предстоит сократиться в ближайшие 50 лет на 33,5 млн. человек, т.е. на 23%. 

Таблица 8.9
Прогноз численности населения России (млн. человек)
Год	Сценарий 1	Сценарий 2	Сценарий 3	Сценарий 4	
2000	145,2	145,2	145,2	145,2	
2025	121,4	128,0	122,2	128,8	
2050	86,5	103,3	94,5	111,7	

	Введем в рассмотрение миграцию как параметр управления, позволяющий достигать те или иные цели. Первая цель – сохранить численность населения России на уровне 2000 г. Значения чистой миграции, необходимые  для достижения этой цели, приведены в табл. 8.10 (в предположениях сценариев 1 - 4 о характеристиках рождаемости и смертности).

Таблица 10
Среднегодовой миграционный прирост (тыс. человек), обеспечивающий сохранение численности населения России
Год/период	Сценарий 1	Сценарий 2	Сценарий 3	Сценарий 4	
2000	214	214	214	214	
2000-2025	1040	738	1002	702	
2025-2050	1712	1066	1263	677	

	Приведенные в табл. 8.10 значения среднегодового миграционного прироста в несколько раз превышают его значение на 2000 г. Динамика среднегодового миграционного прироста в 1990-х гг. (табл. 8.4) показывает, что после всплеска в первые годы после развала СССР наблюдается тенденция к стабилизации этого показателя. Следовательно, нет веских оснований надеяться на то, что за счет сложившегося механизма миграции удастся стабилизировать численность населения России.
	Тем более не удастся обеспечить его увеличение, например, на 0,5% в год (в 1970-1980-х гг. численность населения России росла на 0,6-0,7% в год). Соответствующие ежегодному росту на 0,5% в 2000-2050 гг. значения миграционного прироста приведены в табл. 8.11. Эти значения по сравнению с данными табл. 8.10 выросли примерно в 2 раза. 
	Анализ рассмотренных сценариев типа «Цель» показывают, что для обеспечения сохранения или, тем более, роста численности населения России за счет миграции следует изменить сложившийся механизм миграции. Из табл. 8.11 следует, что за 50 лет чистая миграция должна составить 75-140 миллионов человек. Русская диаспора составляет порядка 30 миллионов человек и может дать не более половины нужного числа мигрантов.  

Таблица 8.11
Среднегодовой миграционный прирост (тыс. человек), дающий прирост численности населения России на 0,5% в год
Год/период	Сценарий 1	Сценарий 2	Сценарий 3	Сценарий 4	
2000	214	214	214	214	
2000-2025	1878	1550	1836	1510	
2025-2050	2825	2028	2268	1542	

	Методы управления демографическими процессами. Государственная власть и общественные движения могут влиять на демографические процессы, т.е. осуществлять управления ими. Среди методов управления можно выделить административно-правовые, экономические, социально-психологические. 
	К административно-правовым относятся, например, правила, регулирующие возможность искусственного прерывания беременности. Исторический опыт показывает, что запрещение абортов, хотя и влечет некоторые отрицательные последствия, в целом приводит к повышению рождаемости. В некоторых странах прибегают к административно-правовым методам сокращения рождаемости. Речь идет, например, о популярной в США идее о принудительной стерилизации безработных, уже имеющих детей.
	К снижению смертности приводит борьба с алкоголизмом и наркоманией. Ранее обсуждалось увеличение средней ожидаемой продолжительности предстоящей жизни (СОППЖ) в результате антиалкогольной компании 1980-х годов. Законы, регулирующие миграцию и права переселенцев, очевидным образом влияют на численность населения. А иногда, при поощрении миграции лиц определенных возрастных групп, эти законы влияют также на показатели смертности и рождаемости. 
	К экономическим методам управления демографическими процессами относится система пособий на детей, позволяющая в ряде случаев нейтрализовать материальные потери, которые несут семьи при появлении детей (потеря в заработке матери и расходы непосредственно на детей). Весьма эффективны вложения в систему здравоохранения, позволяющие сократить младенческую смертность и продлить жизнь пожилым людям. Необходимо упомянуть расходы на охрану труда и повышение промышленной безопасности, снижающие смертность в рабочих возрастах. Весьма важным является экономическое стимулирование различных форм оздоровления. Ясно, что экономическая поддержка мигрантов (первоначальные «подъемные», приобретение пенсионных прав и др.) способствует росту населения страны. 
	Многообразны социально-психологические методы управления демографическими процессами. Господствующие в обществе взгляды весьма сильно влияют, например, на рождаемость. В традиционном обществе она существенно выше (это наглядно видно при сравнении сельского и городского населения России). Большое влияние (как на рождаемость, так и на смертность) имеет сложившийся в определенный момент времени оптимистический или пессимистический настрой в обществе. Различные движения «за здоровый образ жизни» могут снизить смертность, а терпимость к вредным привычкам – повысить ее. На миграционные процессы сильно влияет отношение масс к иммиграции и эмиграции. Совершенно очевидно, что государство и общественные структуры могут влиять на психологию масс, в частности, через средства массовой информации. 
	Ясно, что управление демографическими процессами должно быть комплексным. Методы управления многообразны, невозможно выделить только один или небольшое число методов в качестве единственно перспективных для применения. Необходимо разрабатывать и реализовывать развернутые программы действий, включающие весьма много конкретных мероприятий. Это могут быть федеральные или региональные программы, программы партий или общественных объединений.
	Управление персоналом на конкретном предприятии также требует разработки моделей движения персонала. Первый этап – прогнозирование этого движения. Кроме рождаемости в женской части коллектива, ухода на пенсию и смертности необходимо учитывать поступление на работу и увольнения, а также движение кадров внутри предприятия. 
	На основе прогнозирования, в том числе с помощью сценариев типа «Активный» и «Цель», проводится процесс принятия решений, в частности, планирование, а в процессе осуществления плана – контроль. На современном этапе весьма актуален контроллинг в области демографического менеджмента.

8.3. Статистические модели движения товарных потоков 

	Термин «логистика» происходит от фр. «loger» (размещение, расквартирование), которое употребляется в военной терминологии для определения движения военных грузов, их складирования и размещения, а также для описания процесса размещения и расквартирования военных подразделений. В настоящее время термин «логистика» широко используется в деловом мире и определяет теорию и практику движения сырья, материалов, комплектующих изделий, производственных, трудовых и финансовых ресурсов, готовой продукции от их источников к потребителям.
	ЛОГИСТИКА – наука о планировании, управлении и контроле за движением материальных, информационных и финансовых ресурсов в различных производственно-экономических системах. Предмет логистики - комплексное управление всеми материальными и нематериальными потоками в таких системах. Новизна концепции логистики в области управления промышленными системами состоит во всестороннем подходе к вопросам движения материальных благ в процессе производства и управления. Логистическая система должна охватывать и согласовывать процессы производства, закупок и распределения продукции, а также быть основой при стратегическом планировании и прогнозировании. Итак, логистика – это экономическая дисциплина, занимающаяся оптимальной организацией материальных, финансовых и информационных потоков. 
	Одна из основных частей логистики – теория управления запасами. Сколько товара держать на складе? Много – будут омертвляться оборотные средства, вложенные в запас. Мало – слишком часто надо будет заниматься получением новых партий товара и нести соответствующие расходы. Значит, надо рассчитать и использовать оптимальный размер запаса. А для этого необходимо построить соответствующую математическую модель. 
	Управление запасами (другими словами, материально-техническое снабжение) – неотъемлемая часть работы фирм и организаций. Речь идет о запасах сырья, топлива, материалов, инструментов, комплектующих изделий, полуфабрикатов, готовой продукции на промышленном (или сельскохозяйственном) предприятии, о запасах товаров на оптовых базах, складах магазинов, на рабочих местах продавцов, наконец, у потребителей. Запасы постоянно расходуются и пополняются по тем или иным правилам, принятым на предприятии. Оптимизация этих правил, т.е. оптимальное управление запасами, дает большой экономический эффект. 
	Математическая теория управления запасами является крупной областью экономико-математических исследований. Предложенная еще в 1915 г. Ф.Харрисом классическая модель теории управления запасами является одним из наиболее простых и наглядных примеров применения математического аппарата для принятия решений в экономической области. Эту модель обычно  называют моделью Вильсона, так как она получила известность после публикации работы Р.Г.Вильсона в 1934 г. 
	Формула оптимального размера заказа, полученная в модели Вильсона, широко применяется на различных этапах производства и распределения продукции, поскольку оказывается практически полезной для принятия решений при управлении запасами, в частности, приносящей заметный экономический эффект [3, 4]. Рассмотрим эту модель подробнее.
	Классическая модель управления запасами. Пусть y(t) – величина запаса некоторого товара на складе в момент времени t, t>0. Дефицит не допускается, т.е. y(t) > 0 при всех t. Товар пользуется равномерным спросом с интенсивностью μ, т.е. за интервал времени Δt со склада извлекается и поступает потребителям часть запаса величиной μΔt. В моменты времени t0 = 0, t1, t2,… пополняется запас на складе – приходят поставки величиной Q0, Q1, Q2,… соответственно. Таким образом, изменение во времени величины запаса y(t) товара на складе изображается ломаной зубчатой линией (рис. 8.1), состоящей из наклонных и вертикальных звеньев, причем наклонные отрезки параллельны.  

         y
			       Q2
                       Q1				   Q3
       Q0

         0                t1               t2                       t3                            t
Рис. 8.1. График изменения величины запаса на складе

	Таким образом, в момент ti величина запаса на складе y(t) скачком увеличивается на Qi. Следовательно, функция y(t) имеет разрывы в точках t1, t2,… Для определенности будем считать, что эта функция непрерывна справа. 
	Пусть s – плата за хранение единицы товара в течение единицы времени. Поскольку можно считать, что величина запаса y(t) не меняется в течение интервала времени (t; t+dt), где dt – дифференциал, т.е. бесконечно малая, то плата за хранение всего запаса в течение этого интервала времени равна sy(t)dt. Следовательно, затраты за хранение в течение интервала времени [0;T), где T – интервал планирования, пропорциональны (с коэффициентом пропорциональности s) площади под графиком уровня запаса на складе y(t) и равны 

	Пусть g – плата за доставку одной партии товара. 
	Примем для простоты, что она не зависит от размера поставки. Позже покажем, что если эта плата равна g+g1Q, где Q – размер поставки, то оптимальный план поставки – тот же, что и при отсутствии линейного члена. Будет проанализирована и более сложная модель, в которой предусмотрена скидка с ростом поставки, приводящая к выражению g+g1Q+g2Q2 для платы за доставку одной партии товара размером Q.
	Пусть n(T) – количество поставок, пришедших в интервале [0;T). При этом включаем поставку в момент t = 0 и не включаем поставку в момент t = T (если такая поставка происходит). Тогда суммарные издержки на доставку товара равны gn(T). Следовательно, общие издержки (затраты, расходы) за время T равны 

	Запись F(T;y) = F(y(t), 0<t<T) означает, что общие издержки зависят от значений функции y=y(t) при всех 0<t<T. Символ у обозначает функцию как целое. Другими словами, область определения F(T;y) при фиксированном горизонте планирования T – не множество чисел, а множество функций.
	Общие издержки, очевидно, возрастают при росте горизонта планирования Т. Поэтому часто используют средние издержки, приходящиеся на единицу времени. Средние издержки за время Т равны

	Поскольку товар отпускается со склада с постоянной интенсивностью (скоростью), дефицит не допускается, то доходы от работы склада пропорциональны горизонту планирования, средние доходы постоянны. Следовательно, максимизация прибыли эквивалентна минимизации издержек или средних издержек. 
	Если задать моменты прихода поставок и величины партий, то будет полностью определена функция y=y(t) при всех 0<t<T. Верно и обратное утверждение – фиксация функции y=y(t), 0<t<T, рассматриваемого вида (рис. 8.1) полностью определяет моменты прихода поставок и величины партий. И то, и другое будем называть планом поставок или планом работы системы управления запасами. Для ее оптимизации необходимо выбрать моменты времени t0 = 0, t1, t2,… пополнения запаса на складе и размеры поставляемых партий товара Q0, Q1, Q2,… так, чтобы минимизировать средние издержки fT(y) при фиксированном Т. 
	Модель производственной ситуации (т.е. работы склада) описывается четырьмя параметрами - μ (интенсивность спроса), s (стоимость хранения единицы продукции в течение единицы времени), g (стоимость доставки партии товара), Т (горизонт планирования).
	Поставленная задача оптимизации работы склада интересна тем, что неизвестно число 2n(T)-1 параметров, определяющих план поставок. Поэтому ее решение не может быть проведено с помощью стандартных методов теории оптимизации. 
	Решим эту задачу в три этапа. На первом установим, что оптимальный план следует искать среди тех планов, у которых все зубцы доходят до оси абсцисс, т.е. запас равен 0 в момент доставки очередной партии. Цель второго этапа – доказать, что все зубцы должны быть одной и той же высоты. Наконец, на третьем находим оптимальный размер поставки.
	Оптимальный план. Найдем наилучший план поставок. План, для которого в моменты доставок очередных партий запас равен 0 (т.е. y(t) = 0), назовем напряженным. 
	Утверждение 1. Для любого плана поставок, не являющегося напряженным, можно указать напряженный план, для которого средние издержки меньше.
	Покажем, как можно от произвольного плана перейти к напряженному плану, уменьшив при этом издержки. Пусть с течением времени при приближении к моменту t1 прихода поставки Q1 уровень запаса не стремится к 0, а лишь уменьшается до положительного значения y(t1-) (где знак «минус» означает предел слева функции y(t) в точке t1). Тогда рассмотрим новый план поставок с теми же моментами поставок и их величинами, за исключением величин поставок в моменты t = 0 и t = t1. А именно, заменим Q0 на Q01 = Q0 - y(t1-), а Q1 на Q11 = Q0 + y(t1-). Тогда график уровня запаса на складе параллельно сдвинется вниз на интервале (0; t1), достигнув 0 в t1, и не изменится правее точки t1. Следовательно, издержки по доставке партий не изменятся, а издержки по хранению уменьшатся на величину, пропорциональную (с коэффициентом пропорциональности s) площади параллелограмма, образованного прежним и новым положениями графика уровня запаса на интервале (0; t1) (см. рис. 8.2).

       y
                                      Q2
       Q0           Q1				   Q3
      Q01 

         0                t1               t2                       t3                          t
Рис. 8.2. Первый шаг перехода к напряженному плану

	Итак, в результате первого шага перехода получен план, в котором крайний слева зубец достигает оси абсцисс. Следующий шаг проводится аналогично, только момент времени t = 0 заменяется на t = t1. Если есть такая возможность, второе наклонное звено графика уровня запаса на складе параллельно сдвигается вниз, достигая в крайней правой точке t2 оси абсцисс. 
	Аналогично поступаем со всеми остальными зубцами, двигаясь слева направо. В результате получаем напряженный план. На каждом шагу издержки по хранению либо сокращались, либо оставались прежними (если соответствующее звено графика не опускалось вниз). Следовательно, для полученного в результате описанного преобразования напряженного плана издержки по хранению меньше, чем для исходного плана, либо равны (если исходный план уже являлся напряженным).
	Из утверждения 1 следует, что оптимальный план следует искать только среди напряженных планов. Другими словами, план, не являющийся напряженным, не может быть оптимальным.
	Утверждение 2. Среди напряженных планов с фиксированным числом поставок минимальные издержки имеет тот, в котором все интервалы между поставками равны. 
	При фиксированном числе поставок затраты на доставку партий не меняются. Следовательно, достаточно минимизировать затраты на хранение.
	Для напряженных планов размеры поставок однозначно определяются с помощью интервалов между поставками:

Действительно, очередная поставка величиной Qi-1 совпадает с размером запаса на складе в момент ti-1, расходуется с интенсивностью μ единиц товара в одну единицу времени и полностью исчерпывается к моменту ti  прихода следующей поставки.
	Для напряженного плана издержки по хранению равны

где Δi = ti - ti-1, i = 1, 2, ..., n(T), tn(T) = T. Ясно, что Δi, i = 1, 2, ..., n(T), - произвольные неотрицательные числа, в сумме составляющие Т. Следовательно, для минимизации издержек среди напряженных планов с фиксированным числом поставок достаточно решить задачу оптимизации

где n = n(T).
	Полученная задача оптимизации формально никак не связана с логистикой, она является чисто математической. Для ее решения целесообразно ввести новые переменные αi = Δi -T/n, i = 1, 2, ..., n. Тогда

Поскольку Δi = T/n + αi, то 

следовательно, с учетом предыдущего равенства имеем

Сумма квадратов всегда неотрицательна. Она достигает минимума, равного 0, когда все переменные равны 0, т.е. при α1 = α2 = ... = αn = 0. Тогда 

При этих значениях Δi выполнены все ограничения оптимизационной задачи. Итак, утверждение 2 доказано. 
	Для плана с равными интервалами между поставками все партии товара имеют одинаковый объем. Для такого плана издержки по хранению равны

Средние издержки (на единицу времени) таковы:

Итак, минимизация средних издержек – это задача дискретной оптимизации. На третьем этапе построения оптимального плана необходимо найти натуральное число n(T) – самое выгодное число поставок.
	Поскольку к моменту Т запас товара должен быть израсходован, то общий объем поставок за время T должен совпадать с общим объемом спроса, следовательно, равняться μТ. Справедливо балансовое соотношение (аналог закона Ломоносова-Лавуазье сохранения массы при химических реакциях):

Из балансового соотношения следует, что

Средние издержки (на единицу времени) можно выразить как функцию размера партии Q:
		(8.2)
Задача состоит в минимизации f1(Q) по Q. При этом возможная величина поставки принимает дискретные значения, поскольку

	Изучим функцию f1(Q), определенную при Q > 0. При приближении к 0 она ведет себя как гипербола, при росте аргумента – как линейная функция. Производная имеет вид
 		(8.3)
Производная монотонно возрастает, поэтому рассматриваемая функция имеет единственный минимум в точке, в которой производная равна 0, т.е. при 
		(8.4)
Получена знаменитая в теории управления запасами «формула квадратного корня». 
	В литературе иногда без всяких комментариев рекомендуют использовать напряженный план, в котором размеры всех поставляемых партий равны Q0. К сожалению, получаемый таким путем план почти всегда не является оптимальным, т.е. популярная рекомендация неверна или не вполне корректна. Дело в том, что почти всегда 

	Как же найти оптимальный план? Всегда можно указать неотрицательное целое число n такое, что
		(8.5)
	Утверждение 3. Решением задачи оптимизации

является либо Q1, либо Q2.
	Действительно, из всех возможных объемов партии

часть лежит правее Q0, из них наименьшим является Q2, а часть лежит левее Q0, из них наибольшим является Q1. Для построения оптимального плана обратим внимание на то, что производная (8.3) отрицательна левее Q0 и положительна правее Q0, следовательно, функция средних издержек f1(Q) убывает левее Q0 и возрастает правее Q0. Значит, минимум по

достигается при Q = Q2, а минимум по 

 - при Q = Q1  Последнее утверждение эквивалентно заключению утверждения 3. 
	Итак, алгоритм построения оптимального плана таков.
	1. Найти Q0  по формуле квадратного корня (8.4). 
	2. Найти n из условия (8.5).
	3. Рассчитать f1(Q) по формуле (8.2) для Q = Q1 и Q = Q2, где Q1 и Q2 определены соотношением (8.5). 
	4. Наименьшее из двух чисел f1(Q1) и f1(Q2) является искомым минимумом, а то из Q1 и Q2, на котором достигается минимум – решением задачи оптимизации. Обозначим его Qopt. 
	Итак, оптимальный план поставки – это напряженный план, в котором объемы всех поставок равны Qopt.
	Замечание. Если f1(Q1) = f1(Q2), то решение задачи оптимизации состоит из двух точек Q1 и Q2. В этом частном случае существует два оптимальных плана.
	Пример 1. На складе хранится некоторая продукция, пользующаяся равномерным спросом. За 1 день со склада извлекается 5 т продукции. Плата за хранение 1 т. продукции в день – 50 руб. Плата на доставку одной партии – 980 руб. Горизонт планирования – 10 дней. Найти оптимальный план поставок.
	В рассматриваемом случае μ = 5 (т/день), s = 50 (руб./т.день), g = 980 (руб./партия), Т = 10 (дней). По формуле (8.4) рассчитываем 

Множество допустимых значений для Q имеет вид

Следовательно, Q1 = 12,5 и Q2 = 16,67. Первое значение определяет напряженный план с четырьмя одинаковыми зубцами, а второе – с тремя. Поскольку

то 

и

Поскольку f1(Q1) < f1(Q2), то Qopt = Q1 = 12,5. Итак, оптимальным является напряженный план с четырьмя зубцами. 
	Как уже отмечалось, часто рекомендуют применять план поставок с Q=Q0. Каков при этом проигрыш по сравнению с оптимальным планом? 
	Для плана с Q=Q0 интервал между поставками составляет Q0/μ = 14/5 = 2,8 дня. Следовательно, партии придут в моменты t0 = 0; t1= 2,8; t2 = 5,6; t3 = 8,4. Следующая партия должна была бы придти уже за пределами горизонта планирования Т = 10, в момент t4 = 11,2. Таким образом, график уровня запаса на складе в пределах горизонта планирования состоит из трех полных зубцов и одного не полного. К моменту Т = 10 пройдет 10 – 8,4 = 1,6 дня с момента последней поставки, значит, со склада будет извлечено 5×1,6 = 8 т продукции и останется 14 – 8 = 6 т. План с Q=Q0 не является напряженным, а потому не является оптимальным для горизонта планирования Т =10.
	Подсчитаем общие издержки в плане с Q = Q0. Площадь под графиком уровня запаса на складе равна сумме площадей трех треугольников и трапеции. Площадь треугольника равна (14×2,8)/2 = 19,6, трех треугольников – 58,8. Основания трапеции параллельны оси ординат и равны значениям уровня запаса в моменты времени t3 = 8,4 и Т =10, т.е. величинам 14 и 6 соответственно. Высота трапеции лежит на оси абсцисс и равна 10 – 8,4 = 1,6, а потому площадь трапеции есть [(14+6)×1,6]/2 = 16. Следовательно, площадь под графиком равна 58,8 + 16 = 74,8, а плата за хранение составляет 50×74,8 = 3740 руб.
	За 10 дней доставлены 4 партии товара (в моменты t0 = 0; t1= 2,8; t2 = 5,6; t3 = 8,4). Следовательно, затраты на доставку равны 4×980 = 3920 руб. Общие издержки за 10 дней составляют 3740 + 3920 = 7660 руб., а средние издержки – 766 руб. Они больше средних издержек в оптимальном плане в 766/704,5 = 1,087 раза, т.е. на 8,7%. 
	Отметим, что 

т.е. меньше, чем в оптимальном плане. Таким образом, из-за дискретности множества допустимых значений средние издержки возросли на 4,5 руб., т.e. на 0,64%. 
	Оптимальный размер партии (12,5 т) отличается от Q0 = 14 т на 1,5 т, т.е. Qopt/Q0 = 0,89 – различие на 11%. Достаточно большое различие объемов поставок привело к пренебрежимо малому изменению функции f1(Q). Это объясняется тем, что в точке Q0 функция f1(Q) достигает минимума, а потому ее производная в этой точке равна 0. 
	Оба слагаемых в f1(Q0) равны между собой. Случайно ли это? Покажем, что нет. Действительно,

Таким образом, составляющие средних издержек, порожденные различными причинами, уравниваются между собой. 
	 Средние издержки в плане с Q=Q0 равны . Интервал между поставками при этом равен
.
Издержки в течение одного интервала между поставками таковы:
,
при этом половина (т.е. g) приходится на оплату доставки партии, а половина – на хранение товара. 
	Асимптотически оптимальный план. Из проведенных рассуждений ясно, что напряженный план с Q=Q0 является оптимальным тогда и только тогда, когда горизонт планирования Т приходится на начало очередного зубца, т.е.  
		(8.6)
Для всех остальных возможных горизонтов планирования Т этот план не является оптимальным. Оптимальным будет напряженный план с другим размером поставки. Для дальнейшего весьма существенно, что при изменении горизонта планирования Т оптимальный план меняется на всем интервале [0; T].
	Как происходит это изменение? При малых Т делается лишь одна поставка (при Т = 0), график уровня запаса на складе состоит из одного зубца. При увеличении Т размер зубца плавно увеличивается. В некоторый момент Т(1) происходит переход от одного зубца к двум. В этот момент оптимальны сразу два плана поставки – с одним зубцом и с двумя. При переходе к планам с двумя зубцами размер зубца скачком уменьшается. При дальнейшем увеличении горизонта планирования оптимальный план описывается графиком с двумя одинаковыми зубцами, размер которых плавно растет. Далее в момент Т(2) становится оптимальным план с тремя зубцами, размер которых в этот момент скачком уменьшается (в компенсацию за увеличение числа скачков). И т.д.
	Проблема в том, что в реальной экономической ситуации выбор горизонта планирования Т весьма субъективен. Возникает вопрос, какой план разумно использовать, если горизонт планирования не известен заранее. Проблема горизонта планирования возникает не только в логистике. Она – общая для любого перспективного планирования, поэтому весьма важна для стратегического менеджмента [3, 4]. Для решения проблемы горизонта планирования необходимо использование конкретной модели принятия решения, в рассматриваемом случае – классической модели управления запасами.
	Ответ можно указать, если горизонт планирования является достаточно большим. Оказывается, можно использовать план, в котором все размеры поставок равны Q0. Для него уровень запаса на складе описывается функцией y0(t), 0 < t < + ∞, состоящей из зубцов высоты Q0. Предлагается пользоваться планом, являющимся сужением этого плана на интервал [0; T). Другими словами, предлагается на интервале [0; T) использовать начальный отрезок этого плана. Он состоит из некоторого количества треугольных зубцов, а последний участок графика, описываемый трапецией, соответствует тому, что последняя поставка для почти всех горизонтов планирования не будет израсходована до конца. Такой план иногда называют планом Вильсона [3, 4].
	Ясно, что этот план не будет оптимальным (для всех Т, кроме заданных формулой (8.6)). Действительно, план Вильсона можно улучшить, уменьшив объем последней поставки. Однако у него есть то полезное качество, что при изменении горизонта планирования его начальный отрезок не меняется. Действительно, планы поставок для горизонтов планирования Т1 и Т2, определенные с помощью функции y0(t), 0 < t < + ∞, задающей уровень запасов на складе, совпадают на интервале [0; min {Т1, Т2}).
	Определение. Асимптотически оптимальным планом называется план поставок – функция  такая, что

где yopt(T) – оптимальный план на интервале [0; T).
	В соответствии с определениями и обозначениями, введенными в начале раздела,  - средние издержки за время Т для плана yopt(T), определенного на интервале [0; T), а f(T;y) - средние издержки за время Т для плана .
	Теорема 1. План y = y0 является асимптотически оптимальным.
	Таким образом, для достаточно больших горизонтов планирования Т планы y0(t), 0 < t < T, все зубцы у которых имеют высоту Q0, имеют издержки, приближающиеся к минимальным. Следовательно, эти планы Вильсона, являющиеся сужениями одной и той же функции  на интервалы [0; T) при различных Т, можно использовать одновременно при всех достаточно больших Т. 
	Замечание. Согласно [3, 4] решение проблемы горизонта планирования состоит в использовании асимптотически оптимальных планов, которые близки (по издержкам) к оптимальным планам сразу при всех достаточно больших Т.
	Доказательство. По определению оптимального плана
		(8.7)
Найдем нижнюю границу для рассматриваемого отношения. При фиксированном горизонте планирования Т можно указать неотрицательное целое число n такое, что 

Так как Tf(T; yopt(T)) и - общие издержки на интервалах [0; Т) и [0; nQ0/µ) соответственно при использовании оптимального на [0; Т) плана, то, очевидно, поскольку второй интервала – часть первого (или совпадает с ним), первые издержки больше вторых, т.е. 
Tf(T; yopt(T)) > .
	Далее, т.к. на интервале (0; nQ0/µ), включающем целое число периодов плана у0, оптимальным является начальный отрезок этого плана у0(nQ0/µ), то 
 > .
	В правой части последнего неравенства стоит  (здесь использована формула для минимального значения средних издержек f(T; y) при Т, кратном nQ0/µ). Из проведенных рассуждений вытекает, что
Tf(T; yopt(T)) > .		(8.8)
	Для общих издержек на интервалах [0; Т) и [0; (n + 1)Q0/µ) при использовании плана у0, очевидно, справедливо следующее неравенство
Tf(T; y0(T)) < .
Следовательно,
Tf(T; y0 (T)) < /		(8.9)
	Из неравенств (8.8) и (8.9) вытекает, что  

	Так как  при Т → ∞, то, учитывая неравенство (8.7), из последнего неравенства выводим справедливость заключения теоремы 1. Таким образом, асимптотическая оптимальность плана у0  доказана.
	При небольшом Т средние издержки в плане Вильсона могут существенно превышать средние издержки в оптимальном плане. Превышение вызвано скачками функции f(T; y0(T)), связанными с переходами через моменты прихода очередных поставок (и увеличением общих издержек скачком на величину платы за доставку партии). Величину превышения средних издержек в плане Вильсона по сравнению с оптимальными планами можно рассчитать.  
	Пусть горизонт планирования T = tk + ε, где tk – момент прихода (k+1)-й поставки в плане Вильсона, ε > 0. Тогда, как можно доказать, 

	Таким образом, затраты в плане Вильсона являются минимальными (относительно оптимального плана) при T = tk, k = 1, 2, … , где tk – моменты прихода поставок. Напомним, что план Вильсона является оптимальным при указанных значениях Т. Однако при Т, бесконечно близком к tk, но превосходящем tk, затраты увеличиваются по сравнению с затратами в оптимальном плане в {1+1/(2k)} раз. При дальнейшем возрастании Т отношение издержек (средних или общих) в плане Вильсона к аналогичным издержкам в оптимальном плане постепенно уменьшается, приближаясь к 1 при приближении (снизу) к моменту tk+1 прихода следующей поставки. А там – новый скачок, но уже на меньшую величину {1+1/(2k+2)}. И т.д.
	Сразу после прихода первой поставки отношение затрат составляет 1,5 (превышение на 50%), после прихода второй – 1,25 (превышение на 25%), третьей – 1,167 (превышение на 16,7%), четвертой – 1,125 (превышение на 12,5%), пятой – 1,1 (превышение на 10%), и т.д. Таким образом, при небольших горизонтах планирования Т превышение затрат может быть значительным, план Вильсона отнюдь не оптимальный. Но чем больше горизонт планирования, тем отклонение меньше. Уже после сотой поставки оно не превышает 0,5%. 
	Влияние отклонений от оптимального объема партии. В реальных производственных и управленческих ситуациях часто приходится принимать решения об использовании объемов партии, отличных от оптимальной величины Q0, рассчитанной по формуле квадратного корня (8.4). Например, при ограниченной емкости склада или для обеспечения полной загрузки транспортных средств большой вместимости. Это возможно также в ситуации, когда величина партии измеряется в целых числах (штучный товар) или даже в десятках, дюжинах, упаковках, ящиках, контейнерах  и т.д., а величина Q0 не удовлетворяет этому требованию и, следовательно, не может быть непосредственно использована в качестве объема поставки.   
	Поэтому необходимо уметь вычислять возрастание средних издержек при использовании напряженного плана с одинаковыми поставками объема Q, отличного от Q0, по сравнению со средними издержками в оптимальном плане. Будем сравнивать средние издержки за целое число периодов. Как показано выше, они имеют вид
,
где Q- объем партии. Тогда
		(8.10)
Это тождество нетрудно проверить с помощью простых алгебраических преобразований.
	Пример 2. Пусть используется план с Q = 0,9 Q0. Тогда

Таким образом, изменение объема партии на 10% привело к увеличению средних издержек лишь на 0,56%.
	Пример 3. Пусть используемое значение объема поставки Q отличается от оптимального не более чем на 30%. На сколько могут возрасти издержки?
	Из формулы (8.10) вытекает, что максимальное возрастание издержек будет в случае Q = 0,7 Q0. Тогда

Таким образом, издержки могут возрасти самое большее на 6,43%.
	На первый взгляд удивительно, что сравнительно большое отклонение значения переменной Q от оптимального (на 10%) приводит к пренебрежимо малому возрастанию значения оптимизируемой функции. Этот факт имеет большое прикладное значение. Из него следует, что область «почти оптимальных» значений параметра весьма обширна, следовательно, из нее можно выбирать для практического использования те или иные значения, исходя из иных принципов. Можно, например, минимизировать какую-либо иную целевую функцию, тем самым решая задачу многокритериальной оптимизации. Можно «вписаться» в действующую дискретную систему возможных значений параметров.
	Важное замечание 1. Обширность области «почти оптимальных» значений параметра – общее свойство оптимальных решений, получаемых путем минимизации гладких функций. Действительно, пусть необходимо минимизировать некоторую функцию g(x), трижды дифференцируемую. Пусть минимум достигается в точке х0. Справедливо разложение Тейлора-Маклорена 

Однако в х0 выполнено необходимое условие экстремума (в данном случае – минимума)

Следовательно, с точностью до бесконечно малых более высокого порядка (по сравнению с (х-х0)2) справедливо равенство
 		(8.11)
Это соотношение показывает, что приращение значений минимизируемой функции – бесконечно малая более высокого порядка по сравнению с приращением независимой переменной. Если 
х = х0 + ε, 
то 
g(x) - g(x0) = Сε2, 
где

	Вернемся к классической модели управления запасами. Для нее надо рассматривать f1(Q) в роли g(x). С помощью соотношения (8.11) заключаем, что

с точностью до бесконечно малых более высокого порядка. Вычислим вторую производную f1(Q). Поскольку

то 

Теперь заметим, что 

Следовательно, 

с точностью до бесконечно малых более высокого порядка. Отличие этой формулы от точной формулы (8.10) состоит только в том, что Q в знаменателе одной из дробей заменено на Q0. 
	Устойчивость выводов в математической модели. Вполне ясно, что рассматриваемая классическая модель управления запасами, как и любые иные экономико-математические модели конкретных экономических явлений и процессов, является лишь приближением к реальности. Приближение может быть более точным или менее точным, но никогда не может полностью уловить все черты реальности. С целью повышения адекватности получаемых на основе экономико-математической модели выводов целесообразно изучить устойчивость этих выводов по отношению к допустимым отклонениям исходных данных и предпосылок модели [4]. Выше изучено изменение средних издержек при малых отклонениях величины поставки. 
	Предположим теперь, что вместо истинных значений параметров µ, g, s нам известны лишь их приближенные значения µ* = µ + Δµ, g* = g + Δg, s* = s + Δs. Мы применяем план Вильсона, но с искаженным объемом партии

Это приводит к возрастанию средних издержек. Согласно формулам (8.10) – (8.11) возрастание пропорционально (ΔQ)2 (с точностью до бесконечно малых более высокого порядка). Здесь 

Выделим в ΔQ главный линейный член:
		(8.12)
(с точностью до бесконечно малых более высокого порядка).
	Величину Δµ можно определить по фактическим данным о спросе, оценив величину отклонения реального спроса от линейного приближения [4], например, с помощью математического аппарата линейного регрессионного анализа (раздел 6.3). Для определения значений параметров g и s необходимо проведение специальных достаточно трудоемких исследований. К тому же существуют различные методики расчета этих параметров, результаты расчетов по которым не совпадают. Поэтому естественно оценить разумную точность определения g и s по известной точности определения µ. Для этого воспользуемся «принципом уравнивания погрешностей», предложенным в [4].
	Важное замечание 2. Принцип уравнивания погрешностей состоит в том, что погрешности различной природы должны вносить примерно одинаковый вклад в общую погрешность математической модели. Так, определение рационального объема выборки в статистике интервальных данных основано на уравнивании влияния метрологической и статистической погрешностей [3]. Согласно подходу [4] выбор числа градаций в социологических анкетах целесообразно проводить на основе уравнивания погрешностей квантования и неопределенности в ответах респондентов. В классической модели управления запасами целесообразно уравнять влияние неточностей в определении параметров на отклонение целевой функции от оптимума. 
	Выберем Δg и Δs так, чтобы увеличение затрат, вызванное неточностью определения g и s, было таким же, как и вызванное неточностью определения µ. С точностью до бесконечно малых более высокого порядка это означает, что необходимо уравнять между собой три слагаемых в правой части (8.12). После сокращения общего множителя получаем, что согласно принципу уравнивания погрешностей должно быть справедливо соотношение
		 (8.13)
Таким образом, относительные погрешности определения параметров модели должны совпадать.
	В соотношении (8.13) используются истинные значения параметров, которые неизвестны. Поэтому целесообразно вначале вместо параметров использовать их грубые оценки, из (8.13) определить их примерную точность, затем провести исследования, уточняющие значения параметров. Эту процедуру естественно повторять до тех пор, пока не произойдет некоторое уравнивание относительных погрешностей определения параметров модели.
	Модель с дефицитом. Классическая модель управления запасами может быть обобщена в различных направлениях. Одно из наиболее естественных обобщений – введение в модель возможности дефицита.
	В рассматриваемой до сих пор модели предполагалось, что дефицит не допускается, т.е. некоторое количество товара на складе всегда есть. Но, может быть, выгоднее сэкономить на расходах по хранению запаса, допустив небольшой дефицит – потребность в товаре в некоторые интервалы времени может остаться неудовлетворенной?
	Как подсчитать убытки от дефицита, в частности, от потери доверия потребителя? Будем считать, что если нет товара, владеющая складом организация платит штраф – каждый день пропорционально нехватке. По приходе очередной поставки все накопленные требования сразу же удовлетворяются.
	Сохраним все предположения и обозначения рассматриваемой до сих пор модели, кроме отсутствия дефицита. Неудовлетворенный спрос будем рассматривать как отрицательный запас. График изменения величины запаса на складе изображен на рис. 8.3.

         y
			       Q2
       Q0           Q1				   Q3

         0                  t1             t2                         t3                            t

Рис. 8.3. График изменения величины запаса на складе 
при возможности дефицита

	Очевидно, рис. 8.1 и рис. 8.3 отличаются только тем, что на последнем рисунке зубцы графика могут опускаться ниже оси абсцисс, что соответствует сдвигу графика рис. 8.1 как единого целого вниз вдоль оси ординат.
	Пусть h – плата за нехватку единицы товара в единицу времени( например, в день). Тогда средние издержки за время Т определяются формулой

где χ(А) – индикатор множества А, т.е. χ(y(t)>0) = 1 при y(t)>0 и χ(y(t)>0)=0 при y(t)<0, в то время как χ(y(t)<0) = 1 при y(t)<0 и χ(y(t)<0) = 0 при y(t)>0. Таким образом, площадь под частью графика уровня запаса, лежащей выше оси абсцисс, берется с множителем s, а площадь между осью абсцисс и частью графика y(t), соответствующей отрицательным значениям запаса, берется с заметно большим по величине множителем h.
	Для модели с дефицитом оптимальный план находится почти по той же схеме, что и для модели без дефицита. Сначала фиксируем моменты поставок и находим при этом условии оптимальные размеры поставок. Фактически речь идет о выборе уровня запаса Y в момент прихода очередной поставки (рис. 8.4). 

                             Y 

Рис. 8.4. Первый шаг построения оптимального плана 
в модели с дефицитом.

	Увеличивая или уменьшая Y, можно увеличивать или уменьшать площадь треугольника над осью абсцисс (учитываемую с коэффициентом s) и соответственно уменьшать или увеличивать площадь треугольника под осью абсцисс (учитываемую с коэффициентом h), добиваясь минимизации взвешенной суммы этих площадей. Все элементы прямоугольных треугольников на рис.4 выражаются через Y, заданный интервал времени Δ между поставками и параметры модели. Минимизация соответствующего квадратного трехчлена дает оптимальное значение

При этом минимальная сумма затрат на хранение и издержек, вызванных дефицитом, равна

	Второй шаг нахождения оптимального плана в модели с дефицитом полностью совпадает с аналогичным рассуждением в исходной модели. Фиксируется число поставок, и с помощью варьирования размеров интервалов между поставками минимизируется целевой функционал. Поскольку сумма квадратов некоторого числа переменных при заданной их сумме достигает минимума, когда все эти переменные равны между собой, то оптимальным планом является план, у которого все зубцы одинаковы, т.е. уровень запаса в момент прихода очередной поставки – всегда один и тот же. При этом все объемы поставок, за исключением начальной (нулевой), равны между собой:
		(8.14)
	На третьем этапе среди указанного однопараметрического дискретного множества планов находим оптимальный. Как и для модели без дефицита, в качестве ориентира используется план с размером поставки, определяемой по формуле квадратного корня,

Для горизонтов планирования Т, кратных Q0(μ, g, s, h)/µ, оптимальным является план типа (8.14) с Q = Q0(μ, g, s, h). Для всех остальных горизонтов планирования, как и в случае модели без дефицита, необходимо найти неотрицательное целое число n такое, что
,
а затем, сравнив издержки для Q = Q1 и Q = Q2, объявить оптимальным то из этих двух значений, для которого издержки меньше. 
	Отметим, что модель без дефицита является предельным случаем для модели с дефицитом при безграничном возрастании платы за дефицит. В частности,

	Как и в случае модели без дефицита, план с объемом поставки, определяемой по формуле квадратного корня, Q = Q0(μ, g, s, h), является асимптотически оптимальным.
	Система моделей на основе модели Вильсона. Классическая модель теории управления запасами, называемая также моделью Вильсона, допускает различные обобщения. 
	Одно из таких обобщений – модель с конечной скоростью поставки υ, т.е. модель, в которой за время Δt поставляется продукция объемом υΔt (при наличии в то же время постоянного спроса с интенсивностью µ, причем считается, что υ>µ). Таким образом, в этой модели поставка происходит не мгновенно, а в течение некоторого интервала времени, причем объем поставляемой продукции линейно зависит от времени. Такие поставки будем называть линейными с интенсивностью υ.
	Другое обобщение классической модели связано с обобщением функции от объема запаса, задающей плату за хранение. В исходной модели считалось, что расходы за хранение пропорциональны объему продукции на складе. Естественно считать, что эти расходы должны содержать постоянный член а, не зависящий от объема продукции на складе (расходы на содержание самого склада, оплату работников и т.д.). Однако оптимальный план при таком обобщении не изменится. Действительно, в формуле для издержек добавится постоянный член а, и положение минимума не изменится при его добавлении. 
	Однако в модели с дефицитом ситуация иная. Затраты на хранение возникают только при наличии товара на складе, и издержки этого вида вполне естественно разделить на постоянные и переменные (пропорциональные объему запаса на складе).
	Аналогично издержки, вызванные дефицитом, вполне естественно разделить на постоянные (вызванные самим фактом дефицита) и переменные (пропорциональные величине дефицита).
	В классической модели плата за доставку партии не зависит от объема партии. То есть здесь используются только постоянные издержки. Представляется вполне естественным ввести линейный член, соответствующий возрастанию платы за доставку в зависимости от величины партии (переменные издержки). (Ниже будет показано, что добавление этого члена не влияет на решение задачи оптимизации и вид оптимального плана.) Дальнейшее обобщение – введение скидок в зависимости от величины партии. Это приводит к выражению платы за доставку в виде квадратного трехчлена от объема партии.
	Можно рассматривать одновременно несколько обобщений. В результате получаем систему моделей на основе классической модели  управления запасами, состоящую из 36 моделей [3]. Каждая из них может быть описана набором четырех чисел (а(1), а(2), а(3), а(4)). Каждое из этих чисел соответствует одному из рассмотренных выше видов обобщений исходной модели.
	При этом а(1) = 0, если поставки мгновенные, и а(1) = 1, если поставки  являются линейными с интенсивностью υ, причем υ>µ.
	Если плата за хранение продукции объемом у в течение единицы времени равна sy, то а(2) = 0. Если же учтены постоянные (при наличии товара на складе) издержки, т.е. указанная плата равна sy+a, a>0, то а(2) =1.
	Если плата за нехватку продукции объемом у в течение единицы времени бесконечна (т.е. дефицит не допускается), то а(3) = 0. Если эта плата равна hy (рассмотренная выше модель с дефицитом), то а(3)=1. Если же вводятся также постоянные издержки (плата за само наличие дефицита), т.е. плата за нехватку продукции объемом у в течение единицы времени равна hy + b, b > 0, то а(3) = 2.
	Наконец, а(4) = 0, если плата за доставку партии продукции объемом Q равна g. Если учитываются переменные издержки, т.е. эта плата равна g + g1Q, то а(4) = 1. Если же в модели учитываются скидки на объем партии, т.е. если плата за доставку партии продукции объемом Q равна g + g1Q + g2Q2, то а(4) = 2. 
	Для а(1) имеется два возможных значения, для а(2) – тоже два, для а(3) – три возможных значения, для а(4) – тоже три. Всего имеется 2×2×3×3 = 36 возможных комбинаций, т.е. 36 возможных моделей. Классическая модель управления запасами описывается набором (0, 0, 0, 0), а модель с дефицитом – набором (0, 0, 1, 0). 
	Рассмотрим наиболее обобщенную модель рассматриваемой системы. Она описывается набором (1, 1, 2, 2). Можно показать, что для нее справедливы основные утверждения, касающиеся классической модели и модели с дефицитом. Однако «формула квадратного корня» имеет более сложный вид, а именно,
.
В частности, план с Q =  является асимптотически оптимальным.
	Формула для  позволяет обнаружить ряд любопытных эффектов. Так, в ней не участвует параметр g1. Другими словами, при любом изменении этого параметра оптимальный объем поставки не меняется. Если запас пополняется весьма быстро по сравнению со спросом, т.е. υ>>µ, то соответствующий множитель в «формуле квадратного корня» исчезает, и для моделей с а(1) = 0 получаем более простую формулу 

Дальнейшее упрощение получаем при a = b. Это равенство означает, что постоянные (в другой терминологии – фиксированные) платежи за хранение и в связи с дефицитом совпадают, например, равны 0. Если последнее утверждение справедливо, то

	Предположим теперь, что при доставке партии отсутствуют скидки (или надбавки) за размер партии. Тогда «формула квадратного корня» упрощается дальше и приобретает вид

Эта формула была получена выше при рассмотрении модели с дефицитом. При безграничном возрастании h получаем формулу Вильсона для классической модели управления запасами:

Новое в последних двух формулах – наличие в левой части параметра g1, не участвующего в формировании объема партии. 
	Важное замечание 3. Модели конкретных экономических (и не только) процессов и явлений обычно не встречаются и не изучаются поодиночке. Обычно имеется совокупность моделей, объединенных в систему, переходящих друг в друга при тех или иных предельных переходах. Часто более простые модели используются для конкретных расчетов, в то время как более сложные применяются для изучения точности, достигаемой с помощью этих более простых моделей, согласно подходу, развитому в [3, 4].
	О практическом применении классической модели управления запасами. Для отработки методики практического использования классической модели управления запасами был проведен эксперимент на снабженческо-сбытовой базе, а именно, на Реутовской химбазе (Московская область). Собраны и обработаны данные по одному из товаров, распространяемых этой организацией в большом объеме, - по кальцинированной соде. В качестве исходной информации о спросе использовались данные об ежедневном отпуске кальцинированной соды потребителям, зафиксированные на карточках складского учета. Рассчитана величина затрат на хранение как соответствующая доля общей суммы издержек по содержанию базы, а также расходы на доставку новых партий. Для определения расходов на хранение запасов использованы данные о заработной плате складского персонала (включая основную и дополнительную заработная плата, начисления на зарплату), расходах на содержание охраны, эксплуатацию складских зданий и сооружений, расходах по текущему ремонту, по таре, на приемку, хранение, упаковку и реализацию товаров, о величине амортизационных отчислений и др. Для расчета расходов на доставку новых партий товара использованы данные о расходах по завозу, о плате за пользование вагонами и контейнерами сверх установленных норм, расходах на содержание и эксплуатацию подъемно-транспортных механизмов, о заработной плате работников, занятых в процессе доставки товара, канцелярских, почтовых и телеграфных расходах и др. 
	Полезным оказалось вытекающее из «принципа уравнивания погрешностей» соотношение (8.13). Интенсивность спроса µ и погрешность определения этого параметра найдены методом наименьших квадратов. Это дало возможность установить величину относительной точности определения параметров модели, вытекающих из величин погрешностей исходных данных для спроса. Параметры классической модели управления запасами g и s оценивались двумя способами – по методике Всесоюзного института материально-технического снабжения и по методике Центрального экономико-математического института АН СССР. Для каждой из методик с помощью соотношения (8.13) были определены абсолютные погрешности определения параметров g и s. Оказалось, что для каждой из методик интервалы (s – Δs, s + Δs) и (g – Δg, g + Δg) таковы, что числа, рассчитанные по альтернативной методике, попадают внутрь этих интервалов. Это означает, что для определения параметров g и s можно пользоваться любой из указанных методик (в пределах точности расчетов, заданной наблюдаемыми колебаниями спроса).
	Вызванное отклонениями параметров модели в допустимых пределах максимальное относительное увеличение суммарных затрат на доставку и хранение продукции не превосходило 26% (колебания по кварталам от 22,5 до 25,95%). Фактические издержки почти в 3 раза превышали оптимальные (в зависимости от квартала фактические издержки составляли от 260 до 349% от оптимального уровня). Следовательно, внедрение модели Вильсона в практику управления запасами на Реутовской химбазе дает возможность снизить издержки, связанные с доставкой и хранением кальцинированной соды не менее чем в 2 раза [3]. 
	Таким образом, несмотря на то, что параметры модели определены неточно и отклонения значений параметров (от тех значений, по которым рассчитывается оптимальный план поставок) приводят к некоторому увеличению затрат по сравнению с затратами в оптимальном плане, использование рассматриваемой модели для реального управления запасами конкретной продукции может дать значительный экономический эффект. Аналогичным является положение со многими другими моделями управления запасами. Это утверждение подтверждает и зарубежный опыт, проанализированный в монографии [4].
	Двухуровневая модель управления запасами. Создание любой информационной (в более старой терминологии - автоматизированной) системы управления материально-техническим снабжением (в другой терминологии – процессами логистики), базирующейся на комплексе экономико-математических моделей, должно включать в себя разработку (в качестве блоков) моделей деятельности отдельных баз (складов). Поэтому большое внимание уделяется проблеме построения оптимальной политики управления запасами на базе (складе). Оптимизационную экономико-математическую теорию удается развивать в основном для однопродуктовых моделей.
	Двухуровневая модель управления запасами – это однопродуктовая модель работы склада, в которой заявки потребителей удовлетворяются мгновенно. При отсутствии продукта заявки учитываются. Как только запас на складе опускается до уровня R < 0, мгновенно поступает партия товара величиной Q и запас на складе оказывается равным R+Q>0. Как и в рассмотренном выше варианте классической модели Вильсона с дефицитом, издержки складываются из издержек по хранению, издержек от дефицита и издержек по доставке. Средние издержки за время Т имеют вид

где y(t) – уровень запаса на складе, χ(А) – индикатор множества А, т.е. χ(y(t)>0) = 1 при y(t)>0 и χ(y(t)>0)=0 при y(t)<0, в то время как χ(y(t)<0) = 1 при y(t)<0 и χ(y(t)<0) = 0 при y(t)>0, параметры модели s, h, g имеют тот же смысл, что и выше. Оптимизация состоит в определении значений нижнего уровня R и верхнего уровня R+Q, минимизирующих средние издержки.
	В 1950-х гг. американский исследователь К.Эрроу (в будущем – нобелевский лауреат по экономике) с сотрудниками показал, что в ряде случаев оптимальная политика управления запасами – это политика, основанная на двухуровневой модели. Этот принципиально важный теоретический результат стимулировал развитие исследований свойств двухуровневой модели. Однако окончательная теория была построена только в конце 1970-х годов в монографии [4]. 
	Важными являются характеристики потока заявок. Пусть τ(Т) – число заявок за время Т. Эта величина предполагается случайной. С прикладной точки зрения вполне естественно предположить, что математическое ожидание Мτ(Т) конечно. Накопленный спрос за время Т имеет вид
,
где Xj – величина j-ой заявки. 
	Предполагается, что X1, X2, … , Xn, … - последовательность независимых одинаково распределенных случайных величин с математическим ожиданием MX1. Таким образом, накопленный спрос за время Т является суммой случайного числа случайных слагаемых. Накопленный спрос определяет уровень запаса на складе, поэтому математический аппарат изучения двухуровневой модели – это предельная теория сумм случайного числа случайных слагаемых.
	При некоторых условиях регулярности (выполняющихся для реальных систем управления запасами) в [4] найдены оптимальные (для горизонта планирования Т) значения нижнего и верхнего уровней: 
,
.
	Часто можно принять, что число поступающих заявок обладает некоторой равномерностью. Например, вполне естественно принять, что 

при некотором λ. Здесь λ – параметр, описывающий предельную (т.е. асимптотическую при ) интенсивность спроса. Тогда асимптотически оптимальные уровни имеют вид:
,
.
Отметим, что асимптотическое распределение уровня запаса на складе – равномерное на отрезке [R, R+Q].
	Модель планирования размеров поставок на базу (склад). В двухуровневой модели накопленный спрос в любой момент времени - случайная величина. Это не всегда соответствует экономической реальности. Достаточно часто в соответствии с заключенными договорами размеры поставок на базу и объемы запрашиваемой потребителями продукции определены до начала года (с разбивкой по кварталам или по месяцам) и затем не меняются. Однако поставщик имеет право отгружать продукцию, а потребители – забирать ее в течение всего квартала (или месяца).
	Опишем соответствующую однопродуктовую модель [3, 4]. Пусть интервал планирования разбит на m периодов, не обязательно одинаковых по продолжительности. В течение каждого периода приходит на базу одна поставка. В i-й период ее величина равна Hi, а момент поступления – случайная величина τ(i) с функцией распределения G(i,t), 0 < t < 1, где t – отношение времени, прошедшего с начала i-го периода, к продолжительности его, i = 1, 2, …, m. 
	В i-й период имеется n(i) потребителей, получающих с базы строго определенное количество продукта, c(1,i), c(2,i), …, c(n(i),i) соответственно. Моменты поступления требований от потребителей – случайные величины δ(i,j), j = 1, 2, …, n(i), i = 1, 2, …, m, с функциями распределения F(i,j,t), 0<t<1, где t – отношение времени, прошедшего после начала соответствующего периода, к продолжительности этого периода. Если в момент прихода требования на базе имеется достаточное количество продукта, то он отпускается мгновенно. Если продукта нет, потребителю придется ждать очередной поставки. Если продукта недостаточно, то весь оставшийся товар отпускается сейчас же, а оставшуюся часть приходится ждать. 
	В течение i-го периода, i = 1, 2, …, m, все моменты поступления товара и требований τ(i), δ(i,j), j = 1, 2, …, n(i), предполагаются независимыми в совокупности. Потери, как обычно, складываются из издержек по хранению и от дефицита (расходы на доставку партий заданы заранее, т.е. постоянны, а потому их можно не включать в минимизируемый функционал). Издержки по хранению предполагаются пропорциональными времени хранения и величине запаса с коэффициентами пропорциональности s(i), i = 1, 2, …, m. Издержки от дефицита складываются из потерь у каждого из потребителей; они пропорциональны величине и длительности дефицита с коэффициентами пропорциональности h(i,j), j = 1, 2, …, n(i), i = 1, 2, …, m. 
	Пусть х(0) – начальный запас, х(i) – количество продукта на базе в конце i-го периода, i = 1, 2, …, m.  Пусть S(i) = {s(i), c(j,i), h(i,j), G(i,t), F(i,j,t), 0<t<1, j = 1, 2, …, n(i)} – исходные данные модели в i-й период. Как легко видеть, математическое ожидание издержек за i-й период зависит только от х(i-1), х(i) и S(i). Для краткости обозначим его через f(х(i-1), х(i), S(i)). Тогда математическое ожидание издержек за m периодов равно
Z(m) = f(х(0), х(1), S(1)) + f(х(1), х(2), S(2)) +…
+ f(х(i-1), х(i), S(i)) +    + f(х(m-1), х(m), S(m)).
Необходимо минимизировать Z(m) = Z(х(0), х(1), …, х(i), …, х(m)) по совокупности переменных. Таким образом, необходимо найти оптимальные значения уровней запаса на складе в начале и в конце периодов. Это эквивалентно определению оптимальных размеров поставок по периодам и начального запаса. Ограничения рассматриваемой оптимизационной задачи выписаны в [4]. 
	Вначале была сделана попытка рассматривать задачу минимизации Z(m) как задачу динамического программирования и решать ее типовыми методами. Однако вычислительных мощностей оказалось недостаточно для выполнения расчетов. Тогда нам удалось показать, что функция (m+1)-го переменного Z(m) в действительности является суммой (m+1) функции одного переменного. Действительно,
f(х(i-1), х(i), S(i)) = f1 (х(i-1), х(i), S(i)) + f2 (х(i-1), х(i), S(i)),
где f1(х(i-1), х(i), S(i)) – математическое ожидание затрат, произведенных до прихода очередной поставки, f2(х(i-1), х(i), S(i)) – математическое ожидание затрат после поступления поставки. 
	Ясно, что f1(х(i-1), х(i), S(i)) определяется запасом на начало периода и спросом до прихода поставки, но не зависит от запаса на конец периода, т.е. от х(i). Таким образом, можно записать, что 
f1(х(i-1), х(i), S(i)) ≡ f1(х(i-1), S(i)).
	Пусть Hi – объем поставки на склад в i-й период. Сразу же после прихода поставки запас у на складе равен
y(τ(i)) = x(i-1) + Hi – ξ(τ(i)) = x(i) +  – ξ(τ(i)),
где ξ(τ(i)) – накопленный с начала периода спрос. Поскольку ξ(τ(i)) не зависит от x(i-1), то и f2(х(i-1), х(i), S(i)) не зависит от x(i-1). Итак, 
f2(х(i-1), х(i), S(i)) ≡ f2(х(i), S(i)).
	Следовательно, минимизируемая функция имеет вид

При этом ограничения наложены на каждую переменную x(i) по отдельности [4]. Ясно, что задача минимизации Z(m) распадается на m+1 задачу минимизации функций одной переменной:
f1(х(0), S(1)) → min,
f2(х(i), S(i)) + f1(х(i), S(i+1)) → min, 		(8.15)
f2(х(m), S(m)) → min
(ограничения не указаны). Следовательно, x(k) зависит только от исходных данных смежных периодов S(k) и S(k+1) и остается неизменным при любом изменении S(i), i ≠ k, i ≠ k+1. Из указанного разложения задачи многомерной оптимизации на ряд задач одномерной оптимизации вытекает также, что при планировании на m(1) и m(2) периодов совпадают оптимальные значения начального запаса и поставок за первые min{m(1), m(2)} -1 периодов. В частном случае стационарного режима S(i)= S, i= 1, 2, …, m, оптимальный план имеет вид {a, b, b, …, b, …, b, c}, где a – решение первой из указанных в (8.15) задач, b – решение второй задачи и c – третьей. 
	Переход к задачам (8.15) не только позволяет решить исходную задачу минимизации (напомним, что для минимизации задачи в исходной форме не хватало вычислительных мощностей), но также получить весьма важный для экономической интерпретации вывод о независимости оптимальных значений поставок и начального запаса от горизонта планирования m. 
	Важное замечание 4. Рассмотренная модель дает хороший пример пользы математического анализа оптимизационной задачи при принятии решений. Такой анализ позволяет решать задачу не стандартными методами, требующими больших вычислительных ресурсов, а с помощью специально разработанных алгоритмов, учитывающих специфику задачи и позволяющих весьма существенно сократить вычисления. Плата за экономию вычислительных ресурсов – необходимость квалифицированного труда специалистов по экономико-математическим методам и прикладной математике.
	В настоящее время логистика – одна из экономических дисциплин, весьма развитая как в теоретическом, так и в практическом отношении. В ней рассматривается масса конкретных моделей управления запасами. Из перспективных направлений назовем использование случайных множеств в моделях логистики. Моделирование задач логистики с целью нахождение оптимальных решений выше было продемонстрировано на примерах системы моделей, исходящих из классической модели Вильсона, двухуровневой модели, модели оптимизации объемов поставок на базу (склад). Этот перечень не охватывает даже малой доли математических моделей логистических процессов. Поскольку в реальных процессах движения материальных финансовых и информационных потоков всегда присутствует неопределенность, большое значение для логистики имеют вероятностно-статистические модели [3, 4].

8.4. Статистические модели в истории 

	В разделе рассмотрены статистические модели и методы анализа текстовой информации, находящейся в исторических хрониках (т. е. любых повествованиях об исторических событиях, расположенных в порядке их следования по годам). Цель анализа исторических данных - установление моментов времени, когда происходили те или иные события, т.е. построение научно обоснованной хронологии. Рассматриваемые статистические модели и методы нацелены на выявление хроник, рассказывающих об одних и тех же событиях (так называемых «дубликатов»).
	Постановка задачи. Если вдумываться в факты, сообщаемые в посвященных истории сочинениях, то возникают недоуменные вопросы. Пожалуй, основной из них - как могли погибнуть великие древние цивилизации и наступить «темные века» раннего средневековья, когда достижения предыдущих столетий были практически полностью забыты.
	Другой интересный вопрос - как осознать появление «Эпох Возрождения» (Италия, Египет), когда через полторы тысячи лет повторяются основные черты эпохи - язык, одежда, литературный стиль. Например, нам говорят, что сочинения на латыни достигли высокого литературного уровня в Древнем Риме. Читаем - действительно, это так. Затем в средние века уровень владения языком упал, латынь стала «варварской». Никаких литературных опусов, корявые перечни и записки. И вдруг - снова расцвет классической латыни - в века итальянского Возрождения. 
	Сопоставим с нашей историей. Фактически современная русская культура начинается около двухсот лет назад - с Пушкина, первого поэта, и Карамзина, первого историка. Все, что было до этого, уже трудно воспринимать. Фактически нужен перевод на современный литературный язык. А если отступить еще на 100-200 лет вглубь времен, то чтение превращается в расшифровку текста в буквальном смысле слова. И не только у нас. Язык Шекспира за 400 лет тоже достаточно сильно оторвался от современного английского языка. Можно ли поверить, что мы вдруг перейдем на язык V в. н. э.? Или хотя бы на язык «Слова о полку Игореве»? Можно ли поверить, что мы будем одеваться так, как в Древней Руси? Ответ очевиден. Но как же тогда быть с итальянским Возрождением? 
	Для того, чтобы поставить ряд недоуменных вопросов, нет необходимости быть историком. Достаточно тщательно сопоставить страницы распространенных учебников. Это сделал, например, чемпион мира по шахматам Гарри Каспаров. Его размышления помещены в качестве предисловия к монографии [8].
	На недоуменные вопросы должны быть даны ответы. Историческая наука продолжает развиваться. И один из видов ее интеллектуальных инструментов - статистические модели и методы.
	Откуда мы знаем, когда происходили древние события? Всем рассказывали в школе о событиях, которые произошли тысячи лет назад. А откуда такая уверенность, что, например, битва при Марафоне между греками и персами была именно в 490 г. до н.э.?
	Очевидно, есть три основные вида источников знаний о древней истории: старинные тексты, остатки материальной культуры и - психологически самое важное! - сложившаяся традиция. Обсудим их.
	Древние тексты требуют критического анализа. Их не всегда легко перевести на современный язык. Более того, многие тексты не удается полностью расшифровать. Они отнюдь не всегда точны и беспристрастны. Например, отражают точку зрения победившей стороны. И совершенно ясно, что современник Марафонской битвы не может ее дату отсчитывать от Рождества Христова, которое - по традиционной хронологии - будет позже примерно на 500 лет! Очевидно, эта дата - 490 г. до н.э. - поставлена теми, кто составлял глобальную хронологию, а не современниками. А составители могли ошибаться. Могли и фальсифицировать даты, если это было кому-то выгодно. Сказанное касается и даты создания самого «древнего текста».
	На археологических остатках тоже не написано, к какому времени они относятся. Можно указать верхний слой раскопок, средний, нижний, то есть выяснить, что из найденного в данном месте относится к более раннему времени, а что к более позднему. Уже при сопоставлении с раскопками в других местах возникают проблемы: похоже или не похоже, можно отнести к одному и тому же времени или нет. Тут часто решает традиция. 
	Бесспорно совершенно, что конкретную дату добытых археологами предметов в подавляющем большинстве случаев установить невозможно. Это утверждение пытались поставить под сомнение, ссылаясь на различные естественнонаучные методы датировки. Наиболее известным таким методом является радиоуглеродный анализ. К сожалению, его погрешности велики (плюс-минус 1000 лет!). Выяснилось, что все известные естественнонаучные методы датировки практически бесполезны на том отрезке истории человечества, о котором сохранились письменные источники (подробнее см. монографии академика РАН А.Т. Фоменко и его сотрудников).
	Сложившаяся традиция - огромная сила. Вспомним, как она появилась. Около 200 лет назад император России дал задание одному из лучших литераторов подготовить изложение истории России для широкого читателя. А широкий читатель тогда - несколько тысяч дворян и лиц духовного звания, с вкраплением отдельных разночинцев. Раньше исторические тексты были, как мы сказали бы теперь, секретными документами, хотя время от времени и выпускались сочинения от имени Татищева и Ломоносова, почему-то после смерти авторов.
	И появилась «История» Карамзина. И одновременно была создана сеть гимназий во всех губернских городах, другие учебные заведения. Во всех преподавалась российская история - по учебникам на основе сочинений Карамзина. Так и пошло. Иногда менялись акценты, особенно в 20-е годы ХХ в., но фактическая основа не менялась.
	Традиция преподавания всеобщей и российской истории, с одной стороны, молода - ей не более 200 лет. С другой стороны, за это время сменилось примерно 8 поколений учеников, а этого вполне достаточно, чтобы традиционная хронология стала выглядеть единственно возможной.
	Пример возможности ошибочной датировки. Несколько лет назад автор этой книги убедился, насколько трудно восстановить правильную последовательность событий. Надо было перенести свой архив с старого компьютера «Макинтош» на новый РС Pentium. Всего-то около десяти тысяч файлов. Среди них были «гнезда», посвященные подготовке одного и того же документа (книги, статьи, доклада или отчета) - наборы файлов под сходными названиями и со схожим содержанием, отличающиеся лишь некоторыми деталями - исправлениями и дополнениями. К сожалению, я не всегда уничтожал промежуточные версии. Впрочем, почему к сожалению? Иногда окончательную версию приходилось сокращать, и ряд нужных соображений оставался только в промежуточном тексте. 
	Архив был перенесен с помощью копирования файлов на дискеты и обмена дискетами между компьютерами. Обратите внимание, что после копирования файлов с дискет на Pentium даты создания файлов изменились - теперь в машинных описаниях файлов хранились даты их появления на РС, а не первоначального создания на «Макинтоше». И вот пришел день, когда понадобилось обратиться к одному из «гнезд», чтобы отредактировать статью в соответствии с рецензией, пришедшей из редакции журнала. Просмотрел «гнездо» - нашел два текста с одинаковым названием. Объемы близки. В «свойствах» файлов значится, что они созданы одновременно - в тот самый день, когда я копировал их с дискет на РС. Информация о дате последнего изменения файлов помочь не могла - при переносе файлов между двумя различными платформами они подвергаются специальной конвертации, и тем самым изменяются в тот же день и час, когда и переносятся. Какой же текст окончательный, а какой предварительный? Так и не смог определить. Стал работать с одним из них. И, видимо, ошибся. Думаю так, поскольку в компьютерном тексте были опечатки, исправленные в варианте статьи, побывавшем в редакции. 
	Таким образом, в 2000 г. я не смог понять, какой из двух компьютерных текстов окончательный, а какой является лишь заготовкой, - при всех имеющихся в программном обеспечении средствах для определения даты создания. Насколько же труднее было сравнивать тексты хроник пятьсот лет назад!  
	Предположим теперь, что кто-то захочет составить собрание моих сочинений на основе памяти компьютера. Перед ним сразу встанет проблема «гнезд», в которых находятся последовательные версии одного и того же документа, имеющие одну и ту же дату создания и изменения. Лучше всего было бы найти окончательную версию и включить ее в собрание сочинений, а остальные проигнорировать. Но это может быть нелегким делом, ведь я сам, автор документа, не могу указать окончательную версию, по крайней мере быстро. Возникает желание опубликовать все версии. Кстати, именно так я поступил при переносе архива. Ведь я не стал проводить отбор, а отложил проблему и перенес все файлы. 
	Предположим теперь, что публикатор упорядочит файлы не по «гнездам», а по какому-либо иному признаку - по названиям, по объему или как-либо еще. И вот мы получаем сборник текстов, некоторые из которых близки по смыслу. А именно, близки те, что «произошли» из одного «гнезда». Но читатель-то не знает, какие тексты имеют общее происхождение, а какие - нет! Поэтому он, скорее всего, подумает, что у автора много раз возрождался интерес к одной и той же теме, автор, так сказать, переживал «периоды возрождения». 
	Таким образом, проблемы построения правильной хронологии легко промоделировать на примере типовых проблем рядового пользователя компьютера. 
	Сложившаяся традиция: истоки. Объективный анализ первоисточников показывает, что ныне принятая версия всеобщей хронологии исторических событий была сформулирована сравнительно недавно - лишь в начале XVII в. Это - период «смуты» на Руси. А известная всем нам со школы история России подготовлена немецкими специалистами при российском императорском дворе еще на полтораста лет позже - в XVIII в. Недаром она была представлена Карамзину для изложения популярным языком лишь двести лет назад. За подробностями отошлем к многочисленным публикациям группы академика РАН А.Т. Фоменко.
	Конечно, ныне принятая хронология готовилась долго, столетиями. Примерно за триста лет, в XIV - XVI вв. западноевропейскими хронологами была проведена огромная работа, в основных чертах завершенная И.Скалигером (1540 - 1609) и Д.Петавиусом (1583 - 1652). Необходимо было сопоставить между собой многочисленные хроники, написанные на разных языках, относящиеся к различным государствам, пользующимися своими собственными системами отсчета времени (от начала очередного царствования, от основания Рима, от первых олимпийских игр, и т.д.). Результат (назовем его хронологией Скалигера) - в наших учебниках.
	Могли ли быть допущены ошибки при построении хронологии Скалигера? Конечно, могли, причем, по крайней мер, по двум различным причинам. Первая состоит в ошибочной датировке хроник, в неумении различить хроники-дубликаты, говорящие об одних и тех же событиях. Вторая - в сознательном внесении искажений с целью идеологического обоснования тех или иных положений. Например, работа по хронологии шла под патронатом католической церкви, которой было выгодно «удревнить» историю Италии, тем самым поставить ее выше «молодой» Руси. Это - типичный пример информационной войны, которая в средневековье велась не менее интенсивно, чем сейчас, хотя и затрагивала, прежде всего, элиту.
	Сложившаяся традиция: критика. Хронология Скалигера сразу же стала подвергаться критике. Одна из причин - противоречия между данными истории и астрономии. В исторических сочинениях под определенными датами описываются астрономические явления - затмения, расположение планет среди созвездий и т.п. Астрономия - точная наука, и ее методами можно рассчитать возможные даты тех событий, о которых идет речь в исторической хронике. Иногда эти даты несовместимы. Тогда естественным является желание исправить хронологию, перенеся событие в тот момент времени, когда оно астрономически возможно. А за этим событием «тянутся» все с ним связанные. 
	Наиболее известными критиками хронологии Скалигера являются великий физик и математик Исаак Ньютон (1642-1727) и выдающийся русский ученый-энциклопедист Николай Александрович Морозов (1854-1946), почетный академик АН СССР. В семитомном издании «Христос» (первоначальное название - «История человеческой культуры в естественнонаучном освещении»), выпущенном в 1924-1932 гг., Н.А.Морозов выдвинул и частично обосновал гипотезу о том, что хронология Скалигера искусственно растянута, удлинена по сравнению с подлинной историей. Он обнаружил «повторы в истории», указал на древние хроники, описывающие одни и те же события, но датированные при конструировании скалигеровской хронологии разными эпохами, которые считаются сегодня отделенными друг от друга сотнями и тысячами лет. 
	Работы И.Ньютона и Н.А.Морозова (и многих иных, менее нам известных - де Арсилла, Ж.Гардуина, Р.Балдауфа, Э.Джонсона и др.) никто не смог опровергнуть. О них предпочли забыть. Их замалчивают, а если человек слишком известен, как Исаак Ньютон - вскользь говорят как о заблуждениях великого ума. 
	Во второй половине ХХ в. появилась возможность применить современные статистические методы, основанные на использовании мощных компьютеров. 	В 1970-е гг. были получены основные результаты нового направления исторической науки - статистической хронологии. В течение следующего десятилетия, в 1980-е гг., специалисты по прикладной статистике неоднократно и подробно обсуждали новые математические методы анализа летописей и других исторических источников, разработанные группой академика РАН А.Т. Фоменко. Затем с начала 1990-е гг. начали публиковаться монографии (их уже несколько десятков), для широкого круга читателей описывающая результаты применения этих методов (многие из монографий и статей А.Т. Фоменко и его сотрудников представлены в открытом доступе на официальном сайте научного направления «Новая хронология» http://chronologia.org – http://chronologia.su).
	В трудах научного коллектива под руководством академика РАН А.Т. Фоменко восстановлены основные черты реальной хронологии. Можно, конечно, называть новую хронологию гипотезой, но, во всяком случае, эта гипотеза более обоснована, чем альтернативная, даваемая в стандартных учебниках. Новая компьютерная математико-статистическая хронология всеобщей и российской истории, построенная группой академика РАН А.Т. Фоменко, оказалась полезной и для обсуждения современных экономических и политических проблем взаимоотношений России и Запада в XXI в.
	Компьютерный анализ исторических текстов. Группа А.Т. Фоменко разработала и применила новые статистические методы анализа исторических текстов (хроник). Эти методы основаны на интенсивном использовании компьютерных технологий, которых, конечно, не было ни у И. Ньютона, ни у Н.А. Морозова. Именно из-за необходимости проводить обширные вычисления И. Ньютон и Н.А. Морозов не смогли проанализировать весь хронологический материал. Они были вынуждены ограничиться отдельными расчетами и на их основе формулировать свои предположения и выводы. 
	Обработка текстов проводилась объективными (формальными) методами - любые другие исследователи, воспользовавшись теми же методиками, получат точно такие же результаты. Тем самым их работа носит строгий научный характер. Она восстанавливает классическое понимание хронологии как раздела прикладной математики. И именно современные компьютерные технологии, позволяющие проделать огромный объем расчетов за достаточно короткое время, позволили применить эти объективные методы и получить результаты.
	Объект изучения - существующие в настоящее время исторические хроники, описывающие события год за годом. Типичная хроника - древнерусская летопись. Современный учебник истории - это тоже хроника. Каждую из его глав можно рассматривать как отдельную хронику. Одна из наиболее известных хроник - та, что составляет хронологическую канву Библии. 
	Каждую хронику можно разбить на фрагменты - более короткие хроники. Основная идея в хронологии, используемая группой А.Т. Фоменко, состоит в том, что некоторые фрагменты, привязанные в хронологии Скалигера к различным эпохам, на самом деле описывают одни и те же события. Их вслед за А.Т. Фоменко будем называть дубликатами. Коротко рассматриваемую идею можно сформулировать так: в хронологии есть дубликаты. 
	О существовании дубликатов в истории Древнего Рима (в классическом изложении, т.е. по Скалигеру) писал Н.А. Морозов. Он указывал их явно. Так что новизны в идее поиска дубликатов нет. Достижение группы А.Т. Фоменко состоит, во-первых, в том, что были предложены статистические (т.е. формально-математические) методы поиска дубликатов и, во-вторых, в том, что с помощью компьютеров был обсчитан весь массив имеющихся хроник.
	Основная математико-статистическая идея группы А.Т. Фоменко состоит в формальном введении того или иного расстояния (меры похожести) в формальном же пространстве, описывающем возможные варианты фрагментов исторических хроник (использованные ими расстояния будут кратко рассмотрены ниже).
	Поясним эту математическую фразу. Сначала конструируется некоторое математическое пространство, в котором лежат математические образы фрагментов хроник. Это - отнюдь не элементарная операция, поскольку А.Т. Фоменко стремится учесть возможные варианты фрагментов, ошибки переписчиков, например, пропуск в хронике того или иного правителя, и т.п. В результате образ фрагмента - это не точка, а скорее облако точек, сконцентрированное в определенном месте пространства. Затем вводится расстояние (в математическом смысле) или показатель близости, похожести (или различия) между образами фрагментов. Поясним: предлагается способ расчета некоторого показателя f(a,b) для любых двух образов фрагментов a и b, показывающего степень их похожести: если этот показатель мал, то фрагменты a и b похожи, если велик, то существенно отличаются. В нескольких методиках показатель f(a,b) не является коммутативным: f(a,b) не совпадает с f(b,a). Чтобы не усложнять изложение, будем говорить о расстояниях (как известно, большинство авторов считает, что расстояние коммутативно: f(a,b) = f(b,a) для любых a,b). 
	Следующий шаг - интенсивное применение компьютеров для сплошной обработки всего массива образов фрагментов хроник, сформированного на предыдущем шаге. Цель обработки массива - выделение пар фрагментов хроник, расстояние между которыми меньше некоторого порогового числа. Такие пары рассматриваются как дубликаты, повествующие об одних и тех же событиях. Итогом компьютерного анализа является составление списка дубликатов. Фактически проводится кластер-анализ фрагментов хроник (см. раздел 6.4).
	Пороговое значение определялось по «обучающей выборке» - набору фрагментов хроник, про которые точно известно, когда они говорят об одних и тех же событиях, а когда - о различных. Например, как пишут Г.В.Носовский и А.Т. Фоменко, обучающую выборку можно сформировать из фрагментов западноевропейских хроник о событиях после 1700 г. Численные эксперименты показали, что значения используемых расстояний для пар дубликатов на несколько порядков меньше значений для независимых фрагментов. Это позволяет надежно выделять дубликаты и в том массиве образов фрагментов хроник, который не входит в обучающую выборку. 
	Дополнительным подтверждением правильности выделения пар дубликатов служит то, что различные методики группы А.Т. Фоменко (использующие различные пространства, образы фрагментов хроник, расстояния) дают одни и те же результаты. С точки зрения общей теории устойчивости [4] это говорит о том, что дубликаты - объективная реальность, они действительно присутствуют в массиве фрагментов хроник, не зависят от субъективизма исследователя. Вот если бы разные методы давали разные множества пар дубликатов, были бы все основания усомниться в их объективном существовании. Выбор метода - в распоряжении исследователя, какой метод выбрал - такой и результат получил.
	Итак, дубликаты выделены. У фрагмента a может быть не один дубликат b, а еще и дубликаты c, d, ... Поскольку совершенно невероятно, чтобы история повторялась, все дубликаты a, b, c, d, ... соответствуют одним и тем же реальным событиям. Основная гипотеза А.Т. Фоменко состоит в том, что эти реальные события соответствуют последнему по времени дубликату. Остальные дубликаты получены сдвигами некоторых из реальных событий последнего по времени дубликата вглубь времен, другими словами, влево по оси времени. После выделения пар дубликатов фрагментов хроник проводится анализ связей между дубликатами и их группами с целью выделения «костяка», из которого путем дублирования получаются все остальные цепочки хроник. 
	Итак, реальные события конкретного фрагмента хроники раздваиваются, растраиваются и т.д., уходя в древность. При этом конкретная личность получает отражения, дубликаты в прошлых веках. Как справлялись с этим затруднением хронисты Скалигер и Пентавиус и многие иные? Блестяще справлялись, с выдумкой.
	Старались не дублировать имена. И это удавалось. У каждого человека и тогда, и даже сейчас - много имен. Например, в детстве человека звали Шуриком, сейчас он для близких - Саша, официальное имя - Александр, коллеги и студенты величают Александром Ивановичем, в официальной обстановке - Профессор Такой-то. Пять имен у него. И это еще не все. Он может быть и Саней, и Аликом, и Старшим Лейтенантом Таким-то. А ведь бывают еще псевдонимы, прозвища. В древности на Руси было личное имя, и было церковное, даваемое при крещении. При вступлении на престол меняли имя. Так что у хронистов был большой выбор для именования лиц-дубликатов.
	Как быть с событиями-дубликатами? Иногда одни события «уезжали» в далекое прошлое, другие оставались на своем месте. Но бывало и так, что одни и те же события описывались несколько раз. Тогда выручали подробности, для каждого дубликата свои. С совершенно неправдоподобной точностью цитируют слова великих греков и римлян по тому или иному поводу, как будто этих лиц постоянно сопровождали стенографистки или они носили  с собой магнитофоны. Впрочем, не следует подходить к работе старых хронистов со своими мерками. Нам важна точность в описании исторических событий. А их, возможно, больше интересовала занимательность и учет интересов заказчика (ведь рукопись надо выгодно продать).
	Перед группой А.Т. Фоменко встала задача восстановления (реконструкции) реальной истории, «сбора» дубликатов воедино. При решении этой задачи полезными оказались астрономические данные, лингвистические соображения, анализ предметов материальной культуры и другие методы, не связанные впрямую с компьютерным анализом фрагментов хроник. 
	Сформулируем два основных научных результата группы А.Т. Фоменко. Они получены путем статистического анализа исторических документов с помощью современных компьютерных технологий.
	1. Большинство исторических хроник, известных нам в настоящее время, дублируют друг друга. В частности, хроники, описывающие так называемые «Древний Рим» и «Средневековье», говорят об одних и тех же событиях. 
	2. В исторических хрониках, известных нам в настоящее время, рассказывается о реальных событиях, отстоящих от современности не более чем на 1000 лет.
	Составлены списки хроник, рассказывающих об одних и тех же событиях. Выяснено, что хроники, описывающие историю «древних времен» и «средних веков», а также хроники китайской истории и истории различных европейских государств рассказывают не о разных, а об одних и тех же событиях. Выявлены так называемые «параллелизмы» в истории - то есть рассказы в разных хрониках об одних и тех же событиях, ошибочно считаемых сейчас за рассказы о разных событиях. Предпринята попытка новой датировки исторических событий и восстановления информации о подлинной истории человеческого общества на основе новых данных.
	С точки зрения такой научно-практической дисциплины, как статистические методы, исторические хроники и образы их фрагментов - это частные случаи объектов нечисловой природы. Поэтому разработанные группой А.Т. Фоменко компьютерно-статистические методы (они описаны, например, в [8, с.196-226] и других монографиях тех же авторов) относятся к нечисловой статистике (статистике объектов нечисловой природы), как об этом и было заявлено в нашем обзоре 1990 г. по этой тематике.
	Основные идеи нечисловой статистики связаны с введением «расстояния» или показателя близости (различия) в соответствующем пространстве объектов нечисловой природы и дальнейшем использовании этого показателя в различных алгоритмах. В работах группы А.Т. Фоменко применяется несколько (по крайней мере, 7) различных методик для введения расстояний. Что самое вдохновляющее - оказалось, что выводы, полученные по разным методикам, согласуются между собой. В соответствии с общей теорией устойчивости в социально-экономических моделях [4] эта согласованность выводов свидетельствует о том, что полученные результаты отражают реальность, а не субъективный выбор модели и метода исследователем.
	Математико-статистические методы, разработанные и использованные группой А.Т. Фоменко, многократно подробно обсуждались в 80-х гг. на семинарах и конференциях по прикладной математической статистике, в том числе с участием автора настоящего учебника. Среди них были и такие представительные, как Международные Вильнюсские конференции по теории вероятностей и математической статистике (1985, 1989). 
	Результаты реконструкции мировой истории на основании новых статистических методов представлены в ряде монографий группы А.Т. Фоменко. Существует сайт, на котором в электронном виде представлены книги и другие публикации по «Новой хронологии». Его адрес -  http://chronologia.org .
	Методы группы А.Т. Фоменко. Рассмотрим некоторые статистические методы анализа хроник, примененные группой А.Т. Фоменко. Поскольку реализовать их на практике можно лишь с помощью современной электронной техники, то их можно назвать компьютерно-статистическими. 
	Метод корреляции максимумов. Любую хронику, например, летопись, можно разбить на последовательные куски, соответствующие отдельным годам. Вполне естественно, что объемы текстов, посвященные тем или иным годам, различаются. В одни годы происходило много событий, «достойных» быть отмеченными в хронике - смена правителя, династический брак, рождение наследника, война, боярский заговор, эпидемия, солнечное затмение и т.п. В другие годы такие события могли вообще отсутствовать, и запись за год оказывалась короткой. В качестве объекта компьютерного анализа будем рассматривать объем текста хроники, приходящийся на тот или иной год.
	Пусть Т - натуральное число, обозначающее номер рассматриваемого года. Отсчет может идти от начала хроники или в какой-либо условной системе отсчета, например, «от сотворения мира», это не влияет на результат расчетов. С формальной точки зрения хронику можно описать функцией V(T) - объемом записей за год T, измеренным, например, количеством использованных символов. Если строки или страницы примерно одинаковы по объему, то объем можно измерять в строках или в страницах. Особенно это удобно, если хроника опубликована. 
	Как те же события будут отражаться в других хрониках? Стоит обсудить, что это за «другие хроники». Это, например, летописи, написанные примерно в то же время, но в других местах и странах. Другой вариант - сводки, составленные позже, вплоть до нынешних учебников. Не исключено, что и рассматриваемая хроника является подобной сводкой, тогда и для нее есть исходный текст или тексты. Как соотносятся функции объема записей V(T) для различных хроник, повествующих об одном и том же? Конечно, они не будут совпадать. В сводке выпадут малозначащие (пол мнению составителя) события, объем записей V(T) уменьшится. Основная гипотеза А.Т. Фоменко формулируется так: от тех лет, которым первоначально было посвящено больше текстов, больше текстов и останется. 
	Каждый местный летописец добавит что-то свое, касающееся его княжества, города или монастыря, и сократит что-то из чужого. Предполагаем, однако, что всплески (локальные максимумы) функции объема записей V(T) останутся примерно на тех же местах. Надо отметить, что при большом внимании летописца к чисто местным проблемам, например, к сбору зерна на полях его монастыря и смене игуменов, целесообразно сначала отредактировать местную хронику, оставив в ней лишь информацию о событиях более широкого масштаба, отраженных и в других хрониках. 
	Надо ввести показатель похожести функций объема записей для двух хроник. Пусть наши данные имеют следующий вид. Рассматриваются две хроники за одно и то же количество лет, для определенности, за k лет. Пусть V1 = (V1(T1), V1(T2), ..., V1(Tk)) - вектор, составленный из объемов записей в первой хронике за эти годы, а V2 = (V2(T1), V2(T2), ... , V2(Tk)) - аналогичный вектор для второй хроники. Вычислим коэффициент корреляции между векторами V1 и V2. Очевидно, он будет близок к 1, если функции объемов записей для двух хроник похожи, и будет заметно меньше 1 в противном случае. Предыдущая фраза - это гипотеза, которая подлежит проверке. 
	Сначала надо уточнить два обстоятельства. Коэффициентов корреляции много. Наиболее известен обычный линейный коэффициент (Пирсона). Также часто рекомендуют использовать непараметрические коэффициенты корреляции Кендалла и Спирмера. Непараметрические коэффициенты нацелены на проверку одинаковой упорядоченности координат векторов. Одинаковая упорядоченность координат этих векторов означает, что если в первой хронике текста за один год содержится больше, чем за другой, то и во второй хронике больше говорится о первом годе, чем о втором. Это именно то, что мы предполагаем. Поэтому для проверки коррелированности функций объемов записей больше подходят непараметрические коэффициенты корреляции, чем обычный линейный коэффициент корреляции (см. раздел 6.1).
	Второе обстоятельство связано с тем, что никакой вероятностной модели здесь нет. Мы отнюдь не утверждаем, что независимые хроники (относящиеся к различным временам и странам) независимы в статистическом смысле. Методы математической статистики, основанные на теории вероятностей, здесь применять нецелесообразно. Метод корреляции максимумов А.Т. Фоменко относится к т.н. анализу данных - разделу прикладной статистики, не опирающемуся на вероятностные модели. 
	Этот метод основан на обширном компьютерном эксперименте. Коэффициенты корреляции вычислялись для различных пар хроник (одинаковой длины) - заведомо зависимых и заведомо независимых (не только для хронологии Скалигера, но и с точки зрения группы А.Т. Фоменко), а также тех, о которых не было априорного мнения. 
	Результаты компьютерного вычислительного эксперимента замечательны. Произошло превосходное разделение. Все коэффициенты корреляции для заведомо зависимых пар сосредоточились в окрестности 1. Все коэффициенты корреляции для заведомо независимых пар легли значительно левее. Посередине - пусто. Никакого перемешивания! 
	Весьма интересны результаты для тех пар, о которых не было априорного мнения. Некоторое количество из них оказалось среди заведомо зависимых пар, коэффициенты корреляции для них весьма близки к 1. Это и есть искомые дубликаты. С точки зрения хронологии Скалигера эти хроники никак не связаны, они повествуют о событиях, которые произошли в разных странах и в разные годы. Но формальный анализ показывает их поразительную похожесть. Значит, в них разными словами говорится об одном и том же. 
	Как ясно из сказанного выше, сравнивались не хроники целиком, а куски хроник длиной k лет. Какое k брать? При малых k (до нескольких десятков) нельзя ожидать такой четкой картины разделения зависимых и независимых пар, которая описана только что. Поэтому целесообразно брать k возможно большим. Тогда и дубликаты получаются длинными, их легче интерпретировать. Однако чем больше k, тем меньше хроник такой длины можно найти. Расчеты группой А.Т. Фоменко проводились при разных k, но наиболее перспективным оказался интервал около k = 150 (лет). Группа А.Т. Фоменко использовала несколько иной коэффициент близости функций объема текстов по годам, чем описанный выше. Их коэффициент определен, например, в [8, с.199]. 
	Несмотря на сравнительную простоту идеи, реализовать ее можно было лишь на основе интенсивного использования современных компьютеров. Ни И. Ньютон, ни Н.А. Морозов никогда не смогли бы провести нужного объема вычислений. Добавим, что компьютерно-статистические методы далеко не исчерпали своих возможностей при анализе нарративной (то есть повествовательной) исторической информации - хроник. Так, в рассматриваемом методе напрашивается проведение целой серии дополнительных расчетов, связанных с использованием того или иного коэффициента корреляции или похожести функций объема годовых записей. Не ясно, дадут ли эти расчеты новые результаты в компьютерно-статистической хронологии, но бесспорно, что они дадут новые аргументы в ее поддержку и позволят отработать новые инструменты анализа исторической информации.
	Метод династий. Этот метод разработан еще Н.А. Морозовым. Его суть в выделении «династии» - последовательности следующих друг за другом k правителей, k порядка 15, и рассмотрении k-мерного вектора длительностей их правления. Если для двух династий эти вектора совпадают - имеем идеальный дубликат. 
	Ситуация осложняется тем, что организация властных структур всегда страдала некоторой хаотичностью. Часто власть делилась между соправителями. Кроме того, следует различать формальное царствование и реальное. Царем могли провозгласить младенца, а до его совершеннолетия в таком случае действовал реальный правитель (регент), не имеющий династических прав и не претендующий на формальное признание. Кроме того, коронация, как правило, отстоит от реального взятия власти.
	Свою лепту в искажение исторических текстов мог внести и летописец. Он мог перепутать следующих друг за другом правителей, особенно при их кратком пребывании у власти. Он мог сдвинуть годы правления, учитывая или не учитывая период борьбы за власть (между реальными соправителями), время регентства, отсчитывая правление от взятия власти или от коронации, в паре «отец-сын» беря правление сына от реальной передачи власти или от смерти отца, и т.д. 
	В результате одна реальная династия могла отразиться в хрониках разными способами. Вместо одного вектора в k-мерном пространстве получаем «облачко» таких векторов. В этом «облачке» - все возможные описания данной династии, как реально существующие в исторических документах, так и те, что могли бы возникнуть. Если за конкретный вектор как описание династии можно критиковать исследователя - дескать, в такой-то хронике она описана по-другому, то в «облачке» это другое описание, скорее всего, уже содержится. Именно «облачко» - адекватное описание реальной династии в математических терминах. 
	Очевидно, если «облачка», построенные по считающимся в хронологии Скалигера независимым данным, пересекаются, то династии, скорее всего, являются дубликатами. Если «облачка» далеки друг от друга, они не могут быть дубликатами. 
	Дальнейшее статистику очевидно - надо ввести расстояние между «облачками», уточнить термины предыдущего абзаца «пересекаются» и «далеко», а затем провести компьютерный эксперимент, вычисляя расстояния между парами династий. 
	С точки зрения статистика задача напоминает кластер-анализ. Требуется определить расстояние между кластерами - «облачками» в многомерном пространстве. Есть целый ряд методов. Согласно методу ближайшего соседа в качестве расстояния берется минимальное из расстояний между двумя точками, одна из которых лежит в первом кластере, а другая - во втором. Согласно этому методу расстояние от династии до нее самой равно 0. В методе дальнего соседа, наоборот, в качестве расстояния берется максимальное из расстояний между двумя точками, одна из которых лежит в первом кластере, а другая - во втором. Согласно этому методу расстояние от династии до нее самой равно диаметру «облачка». В методе средней связи в качестве расстояния берется среднее из расстояний между двумя точками, одна из которых лежит в первом кластере, а другая - во втором. Поскольку средних величин бесконечно много, то можно рассматривать разные алгоритмы вычисления расстояния, основанные на среднем арифметическом, среднем геометрическом, медиане и т.д. Сам А.Т. Фоменко предложил и использовал несколько иной метод. Так что существует большое поле для экспериментов с «облачками»-династиями. 
	Каков же результат компьютерных экспериментов А.Т. Фоменко? Как и следовало ожидать, он напоминает результат применения метода корреляции максимумов. Явно зависимые династии оказались близкими, явно независимые династии - далекими. Но обнаружились пары династий-дубликатов. Эти династии в хронологии Скалигера считались никак не связанными, далекими друг от друга в пространстве и во времени, но они оказались весьма близкими в терминах того расстояния, что использовалось в эксперименте. Все расстояния между «облачками» разделились на две группы, по величине различающиеся на несколько порядков: близкие к 0 расстояния между зависимыми династиями и дубликатами и достаточно большие расстояния между независимыми династиями. В промежутке - пустота.
	Метод затухания частот. Согласно нему при правильном хронологическом порядке фрагментов частота употребления имен персонажей данного поколения должна в среднем уменьшаться, «затухать» при переходе к описанию все более отдаленных от него во времени персонажей. Таким образом, метод датировки опирается на использование имен исторических персонажей.
	Из сформулированного принципа вытекает, что целесообразно ввести понятие «глава-поколение» - фрагмент хроники, описывающий события приблизительно одного поколения. Рассмотрим группу имен, впервые появившихся в рассматриваемой «главе-поколении». Обязательное условие - раньше они никогда не появлялись, но встречаются в «главе-поколении», соответствующей моменту Т(0). Очевидно, некоторые из них будут встречаться и дальше, летописцы будут ссылаться на царей и героев предыдущих эпох, но все реже и реже. Если построить график частоты их встречаемости как функции времени, то левее точки Т(0) частота равна 0 (по определению), максимума она достигает в момент Т(0) (в те два-три десятилетия, что соответствуют интересующему нас поколению), а потом монотонно убывает. 
	Если же монотонность нарушается, «старая» группа имен дает заметный всплеск, то есть мы имеем дело с «возрождением» - в данном случае «возрождением» множества имен исторических лиц. Обнаружен дубликат, повторное описание тех же событий. Обычно реальные события оказываются частично отнесенными в прошлое, тк что термин «возрождение» не является адекватным. Метод, основанный на затухании частот, позволяет также датировать фрагмент текста, оптимизируя на компьютере возможное место для данного фрагмента так, чтобы функции встречаемости как можно меньше отличались от идеальных. 
	При более тщательном анализе используется понятие «возраст имени» - число глав-поколений с момента первого появления такого же имени в тексте. Оказалось, что имена можно разделить на два класса - «вечные» (около 1/4 имен) и «обычные». В соответствии с принципом затухания частот возраст «обычных» имен сохраняет приблизительно постоянное значение (со случайным разбросом вокруг него). Возраст же «вечных» имен постоянно растет со временем (по линейному закону). Следовательно, средний возраст имен естественно описывать линейной регрессией. Дубликат будет выражаться резким поднятием части графика на одну и ту же величину. Как выражается А.Т. Фоменко, возникает характерная «полка», высота которой соответствует расстоянию между дубликатами. Обнаружить такие «полки» можно чисто формально, как отклонения графика от линейной зависимости. Для этого используют алгоритмы обнаружения разладки, те же, что и для обнаружения разладки технологического процесса в рамках статистических методов управления качеством продукции (раздел 10.5).
	Рассматриваемый сюжет широко развернут в публикациях группы А.Т. Фоменко. В частности, разработаны методы анализа матриц связей для хронологических списков имен, которые требуют обширных вычислений на современных компьютерах (сложность вычисления пропорциональна квадрату длины списка).
	Метод анкет-кодов. Анкет-кодом А.Т. Фоменко называет формализованную биографию упомянутого в хронике деятеля. Точнее говоря, речь идет об «исторической литературной биографии», которая может не совпадать с реальной биографией (о которой мы ничего не знаем). Анкет-код состоит из 34 пунктов, ответ на каждый из них, как правило, формализован и состоит в выборе одного из нескольких вариантов ответов. 
	Приведем начало анкет-кода.
	1. Пол.
	2. Длительность жизни.
	3. Длительность правления. Конец правления практически всегда однозначно зафиксирован, начало правления допускает иногда несколько вариантов, которые отмечаются как равноправные.
	4. Социальное положение и занимаемый пост (код а - царь, император, король, великий князь, то есть самостоятельный правитель; код б - полководец; политик, общественный деятель; код в - ученый, писатель, актер, философ и т.д.; код г - религиозный вождь, патриарх, папа, епископ и т.д.).
	5. Смерть правителя (а - естественная (то есть не насильственная) смерть в мирной обстановке; б - убит на поле боя противниками или смертельно ранен; в - убит в результате заговора, вне войны; г - убит в результате заговора во время войны; д - специальные, экзотические обстоятельства смерти).
	6. Стихийные бедствия во время правления (а - голод; б - наводнения; в - повальные болезни; г - землетрясения; д - извержения вулканов; при этом отмечаются также длительность бедствий и год или годы правления, когда они имели место).
	7. Астрономические явления во время правления (а - есть; б - нет; если есть, то какие именно: в - затмения, г - кометы; д - «вспышки звезд»).
	8. Войны во время правления (а - есть; б - нет).
	9. Число войн.
	И еще 25 пунктов анкеты, которая напоминает анкеты социолога при массовом опросе, маркетолога при изучении предпочтений потребителя, формализованную историю болезни, используемую в научных медицинских исследованиях, и т.п.
	Не надо думать, что этих данных слишком мало для идентификации личности. Напомним, что в многомиллионной Москве для идентификации жителя (с указанием его домашнего адреса и телефона) вполне достаточно всего лишь фамилии, имени, отчества (хотя многие из них широко распространены), года и места рождения.
	Анкет-коды правителей при объединении дают анкет-код династии. Для нахождения дубликатов А.Т. Фоменко разработал методику, основанная на принципе «малых искажений». В соответствии с ней, если анкет-коды двух династий «мало отличаются» друг от друга, то они изображают одну и ту же реальную династию. Если же два анкет-кода изображают разные династии, то анкет-коды «далеки» друг от друга.
	С точки зрения специалиста по статистике объектов нечисловой природы, анкет-код - это вектор с разнотипными признаками. В пространствах подобных векторов можно разными способами ввести расстояния или показатели различия, позволяющие формализовать понятия «мало отличаются» и «далеки». 
	Восстановление подлинной истории. Мы разобрали ряд (меньше половины) компьютерных методов поисков дубликатов, использованных группой А.Т. Фоменко. Самое интересное начинается тогда, когда дубликаты уже выявлены. Процесс их сопоставления вряд ли можно формализовать, но он очень интересен. Обычно обнаруживаются сходные события и персонажи, «уехавшие» из основного периода в дубликаты. Поколения историков постарались наполнить колоритными подробностями сухие строки хроник, и теперь приходится очищать события от этой шелухи. В работах группы А.Т. Фоменко в ход идут самые разные соображения. И астрономические, использованные еще И. Ньютоном и Н.А. Морозовым. И лингвистические. И связанные с анализом остатков древней материальной культуры (например, старинного оружия). Весьма полезными оказываются древние географические карты и предметы искусства прежних веков (прежде всего картины).
	В результате удается во многом восстановить истинную картину исторических событий. Этому и посвящены значительные разделы книг группы А.Т. Фоменко 1990-х и 2000-х гг. О компьютерных методах обнаружения дубликатов, интересных в основном специалистам, в этих монографиях говорится сравнительно мало, но вполне достаточно для понимания сути дела. Первый этап восстановления истинной хронологии - выявление дубликатов - по существу закончен. Чего нельзя сказать о втором - выявлении истинной всемирно-исторической картины. 
	Сложности касаются последней тысячи лет. Про предыдущее всё ясно - у нас нет никаких письменных сведений о событиях ранее IX в.н.э. А вот потом письменные свидетельства сочетаются с наличием хронологических сдвигов. Какие-то события сдвинуты в хрониках на 300 лет вниз, какие-то, возможно, наоборот, приближены к нам. 
	При анализе исторических хроник приходится сталкиваться с различными сложностями. В качестве примера кратко обсудим легенду о «призвании варягов». Сколько написано об этом! Одни выясняли, откуда варяги родом - из Швеции или из Пруссии, другие утверждали, что сама мысль о призвании иноземцев унижает Россию. И до сих пор идут дискуссии. И только А.Т. Фоменко посмотрел на исходную рукопись. Выяснилось, что лист про призвание варягов вклеен. Подделка. Как, видимо, и вся Радзивиловская рукопись. Интересно также, что многие факты, вообще говоря, известны историкам, но они молчали. Был разработан даже специальный «Эзопов» язык. Например, что значит фраза: «список второй половины XVII в. летописи XII в.»? Значит, текст написан во второй половине XVII в. Что в нем от летописи XII в. - неизвестно. Зная про события тех времен, например, про «исправление богослужебных книг», можно с полным основанием предположить, что и древняя летопись была исправлена. Нельзя думать, что переписчики копировали «буква в букву». Даже сейчас редакторы газет, журналов и книг считают возможным делать с текстом практически беззащитного автора все, что им угодно. Например, публиковать только вставной сюжет, отбросив основное содержание. Так, в книгах известного популяризатора науки Я.И. Перельмана часто встречаешь сюжеты, которые он физически не мог написать, поскольку в его время (он умер в блокадном Ленинграде) не было соответствующих реалий, например, он не мог знать названий и характеристик советских космических кораблей. Кто-то написал и вставил соответствующие разделы. Кто - неизвестно. Если так поступают сейчас, то можно представить себе, что творилось несколько веков назад...
	Компьютерно-статистическая хронология. Теория группы академика А.Т. Фоменко - новая компьютерно-статистическая хронология мировой истории - подлинный триумф современных статистических методов и информационных технологий. С помощью компьютеров, позволяющих за несколько часов провести такое количество вычислений, на которое ранее ушли бы годы труда десятков, а то и сотен людей, появилась возможность разработать объективные, строго научные методы исследования столь, казалось бы, далеких от точных наук данных, как исторические хроники. Появилась возможность выявлять не только ошибочно датированные, но и сфальсифицированные исторические тексты, восстанавливать их истинную датировку, выявлять, какую эпоху они описывают. В целом можно сказать, что новые методики исследования текстовой информации, разработанные группой академика А.Т. Фоменко, позволяют проводить анализ текстов вне зависимости от субъективного восприятия их исследователем, то есть использовать строго научный подход в этой области.
	Новая хронология позволяет понять многое в борьбе идей в современном научном и массовом сознании. 
	Во-первых, становится ясной глубинная причина настороженного отношения Запада к России. Это - устойчивая реакция на его многовековое вассальное положение по отношению к Руси. Не сумев победить в открытой борьбе, он добился реванша «дипломатическими» методами, посеяв смуту в высшем руководстве и выдвинув на первое место своих ставленников.  
	Во-вторых, искусственное удлинение западной истории создает чувство неполноценности у граждан «молодой» России. На это же направлено и искусственное введение веков «татаро-монгольского ига» в нашу историю. Цель - заставить нас смотреть снизу вверх на Запад с его якобы всегда более высокой культурой, продвинутой наукой, богатой историей, эффективной промышленностью и т.д.
	Века прозападной пропаганды дали результат. Российские потребители с гораздо большим энтузиазмом покупают западные товары, чем отечественные. Распространенный эксперимент - поменять упаковки, скажем, российских и французских духов. По мнению большинства покупателей, товар во французской упаковке всегда лучше, независимо от того, что в ней содержится.  
	Значение результатов группы А.Т. Фоменко не ограничивается историей. При преподавании экономических дисциплин совершенно необходимо использовать современные достижения исторической науки - новую компьютерно-статистическую хронологию, построенную на основе интенсивного применения статистических методов. Она проливает новый свет не только на экономическую историю, но и на борьбу идей в современном научном и массовом сознании. Становятся яснее причины отличия России от стран Запада и необходимость разработки экономической теории, адекватной российской социальной психологии и экономической практике.
	Работы по новой хронологии лишний раз доказывают, что с развитием статистических методов и информационных технологий перед человечеством открылись новые, грандиозные возможности.  

8.5. Вероятностно-статистическое моделирование помех, 
создаваемых электровозами

	Движение электровозов создает помехи, влияющие на проводные линии связи. Создание достаточно эффективных и в то же время экономичных средств защиты проводных линий связи от мешающих влияний, создаваемых тяговыми сетями переменного тока, предполагает в качестве подготовительного этапа разработку математических моделей помех, создаваемых электровозами.
	Как показано в [9, с.59], m-ю гармонику (m > 7) создаваемой электровозом помехи можно описать двумерным случайным вектором 
,		(8.16)
где r – амплитуда и  - фаза помехи, причем r и  независимы (как случайные величины), распределение  равномерно на . Как нетрудно подсчитать, 
.  (8.17)
	В случае n электровозов рассматриваемая гармоника суммарной помехи описывается вектором , причем из физических соображений
.		(8.18)
Каждый вектор в правой части (8.18) соответствует электровозу с тем же номером. Будем считать, что случайные величины  независимы в совокупности, а все фазы  распределены равномерно на . Из (8.17) и (8.18) вытекает, что 
,		(8.19)
если все слагаемые в правой части (8.19) существуют. Последнее будем считать выполненным. Правую часть (8.19) обозначим .
	Из многомерной центральной предельной теоремы (см. разд. 14.2) вытекает следующее утверждение. 
	Лемма 1. Пусть выполнены условия теоремы Линдеберга-Феллера, в данном случае
.		(8.20)
Тогда для любых чисел x, y
,		(8.21)
где  - функция нормального распределения с математическим ожиданием 0 и дисперсией 1.
	Нам понадобится следующее утверждение.
	Лемма 2. Пусть  и  - независимые случайные величины, имеющие стандартное нормальное распределение . Пусть выполнены условия леммы 1. Пусть функция  интегрируема по Риману по любому квадрату. Тогда
	(8.22)
при всех u, при которых правая часть (8.22) непрерывна по u.
	Доказательство вытекает из леммы 1 и результатов о наследовании сходимости (разд. 14.3).
	В методиках расчетов, связанных с защитой проводных линий связи, используется математическое ожидание амплитуды суммарной помехи . Следовательно, надо рассмотреть функцию
.
Из леммы 2 следует, что распределение нормированной амплитуды суммарной помехи

сходится к распределению случайной величины
.
	Случайная величина , как известно (см., например, [10, с.262]), имеет плотность 
.		(8.23)
Следовательно,
.
	При проектировании защиты проводных линий связи нормативные ограничения накладываются на математическое ожидание суммарной помехи. Поэтому для практического применения полезны следующие результаты.
	Теорема 1. Пусть предельные соотношения (8.20), (8.21) имеют место и, кроме того,
.		(8.24)
Тогда
.
	Следствие. Для математического ожидания  амплитуды суммарной помехи имеет место предельное соотношение
.
	Отметим, что соотношения (8.20) и (8.24) выполнены, например, в случае, когда существуют числа 0 < r < R такие, что r < rin < R при всех n, i = 1, 2, …, n, т.е. амплитуды электровозов ограничены сверху и снизу. Это условие является весьма естественным с прикладной точки зрения. 
	Доказательство теоремы 1. При любом a > 0 справедливо равенство
.	(8.25)
	Каждую из скобок в представлении (8.25) будем обрабатывать своим способом. Поскольку
,		(8.26)
то подставляя в (8.26) вместо F(x) соответственно  и , заключаем с помощью леммы 2, что при фиксированном значении a первая скобка в (8.25) стремится к 0 при росте n. 
	Вторую скобку оценим следующим образом:
.	(8.27)
Из явного вида функции h(x) (см. (8.23)) следует, что второе слагаемое в (8.27) стремится к 0 при росте n. Для оценки первого слагаемого в (8.27) воспользуемся соотношением 
,
в котором положим F(x) = . Оценим сначала порядок убывания по x величины 
.
	С помощью несложных, но достаточно продолжительных вычислений можно найти  и на основе неравенства (8.24) доказать, что существует константа C такая, что при всех n
.
Воспользовавшись неравенством Чебышева: 

для любой случайной величины  и любого положительного числа b, заключаем, что
.
Следовательно, 
.	(8.28)
	Из соотношений (8.27), (8.23) и (8.28) следует, что первое слагаемое в правой части равенства (8.25) при фиксированном a стремится к 0 при росте n, в то время как вторая скобка стремится к 0 при росте a равномерно по n. Для завершения доказательства теоремы 1 по фиксированному  > 0 найдем число a такое, что при всех n вторая скобка меньше /2, а затем по этому a найдем n0 такое, что при n > n0 первая скобка также меньше /2. Тогда  при n > n0. Теорема 1 доказана. 
	Рассмотрим важный частный случай. Пусть амплитуды всех электровозов детерминированы, одинаковы и равны 1, т.е. ri = 1, i = 1, 2, …, n. Тогда по следствию из теоремы 1 математическое ожидание амплитуды суммарной помехи приблизительно равно 0,886, в то время как формула (44) на с. 60 электротехнической работы [9] дает . Таким образом, согласно развитой выше теории значение амплитуды суммарной помехи на 11,4% меньше, чем согласно мнению специалистов в этой области.
	Чем же объясняется различие в 11,4%? Дело в том, что «закон сложения высших гармоник в тяговой сети при двух электровозах в зоне питания» (формула (42) на с. 60 работы [9]) является приближенным и выполняется с точностью порядка 1% (там же, с.59). Можно было бы ожидать, что при рассмотрении n электровозов, а не двух, ошибка будет порядка 0,01n, однако в силу того, что рассматриваемый «закон» выполняется тем точнее, чем больше различаются амплитуды слагаемых, ошибка имеет порядок лишь 0,114, что при больших n существенно меньше, чем 0,01n.
	Итак, формула (44) в работе [9] завышает среднюю амплитуду суммарной помехи в 1/0,886  1,13 раза, что приводит к соответствующему увеличению средств, выделяемых на защиту проводных линий связи. Следовательно, внедрение развитой в настоящем разделе теории позволяет сэкономить достаточно большие материальные и финансовые ресурсы.
	Однако приведенные выше результаты - предельные, ими можно пользоваться при «достаточно большом» числе электровозов n. Для практики же наиболее интересны значения n в пределах от 2 до 10. Возникает вопрос о скорости сходимости в леммах 1 - 2 и особенно в теореме 1. 
	Пусть сначала n = 2. Нетрудно показать, что в случае детерминированных амплитуд r1 и r2
,		(8.29)
где , фаза  - равномерно распределенная на  случайная величина, а 
.
	Легко видеть, что при  = 1 (т.е. при r1 = r2) математическое ожидание в правой части (8.29) равно 0,897. При  < 1 соответствующий определенный интеграл приводится к эллиптическому интегралу и в явном виде не берется. Приведем разложение в ряд по степеням параметра :

	Вычисленное при n = 2 значение 0,897 весьма близко к предельному (при ) значению 0,886. Поэтому можно ожидать быстрой сходимости, по крайней мере при малоразличающихся значениях амплитуд.
	Обсудим применение теоретических методов изучения скорости сходимости. Асимптотическое разложение характеристической функции случайного вектора  начинается с члена порядка n-1 (в силу того, что третьи моменты координат вектора равны 0 согласно (8.17)). Путем обращения этого разложения можно найти асимптотическое разложение для плотности (аналог разложения Эджворта), которое также начинается с члена порядка n-1. Последний шаг – подобно доказательству теоремы 1 может быть сделан переход к интересующий нас разности 
.		(8.30)
	Обосновать описанную цепочку утверждений, приводящую к (8.30), и получить численные оценки скорости сходимости можно, оценивая остаточные члены во всех описанных выше преобразованиях. К сожалению, не удалось обнаружить публикаций, в которых имелись бы нужные оценки. Это объясняется тем, что рассматриваемая ситуация является весьма частной с точки зрения общей теории. Мы не стали строить микротеорию для обоснования правдоподобных рассуждений, приведших к (8.30), поскольку нас интересует точность приближения предельным распределением при 2 < n < 10, а, как показывает опыт анализа распределения двухвыборочной односторонней статистики Н.В.Смирнова (разд. 14.6, подраздел «Точные формулы и асимптотика»), константы, которые можно таким путем получить для уточнения соотношения (8.30), сильно завышены. Поэтому обратились к численным методам, а именно, к вычислительному эксперименту методом статистических испытаний (Монте-Карло), т.е. с использованием датчика псевдослучайных чисел. Использовался алгоритм перемешивания Макларена-Марсальи (М-алгоритм). 
	В табл. 8.12 приведены значения оценок величины 
		(8.31)
для пяти наборов амплитуд [4].

Таблица 8.12
Оценка скорости сходимости в теореме 1 методом Монте-Карло
№ экс-пери-
мента	Число электровозов n	
	1	2	3	4	5	
1	1
-	1
0,009	1
0,018	1
0,010	1
0,013	
2	0,40
-	0,41
0,016	0,72
0,029	0,64
0,021	1,18
0,022	
3	0,40
-	0,40
0,010	0,41
0,022	0,86
0,030	0,80
0,016	
4	0,40
-	0,53
0,031	2,52
0,095	0,72
0,077	0,85
0,067	
5	0,40
-	0,41
0,014	0,85
0,041	0,56
0,017	0,82
0,017	

Продолжение таблицы 1.
№ экс-пери-
мента	Число электровозов n	
	6	7	8	9	10	
1	1
0,013	1
0,001	1
0,001	1
0,010	1
0,010	
2	0,66
0,022	1,60
0,025	1,70
0,018	0,87
0,008	2,60
0,007	
3	0,86
0,012	0,85
0,009	0,90
0,007	2,97
0,040	0,72
0,035	
4	3,00
0,025	0,65
0,029	1,46
0,017	0,63
0,023	0,84
0,022	
5	0,58
0,007	1,63
0,025	1,64
0,011	0,87
0,009	1,00
0,012	
	Примечание. Для каждого из пяти экспериментов верхняя строка – значения амплитуд, нижняя – значения  из (8.31), оцененные по 10 000 испытаниям. В каждом наборе из 10 амплитуд сначала моделируется ситуация с первыми двумя амплитудами, потом – с первыми тремя, затем – с первыми четырьмя, и т.д.

	Математические ожидания в (8.31) оценивались как средние арифметические 10000 наблюдений случайной величины . Дисперсия результата одного испытания согласно лемме 2, аналогу теоремы 1 для вторых моментов и соотношению (8.23) оценивается как , а потому среднеквадратическое отклонение табличных значений оценивается как 0,0015 (в предположении идеальности датчика псевдослучайных чисел). 
	Данные табл. 8.12 показывают, что наиболее быстрая сходимость в теореме 1 имеет место в случае равенства амплитуд. Напротив, если значение одной из амплитуд безгранично возрастает, а значения остальных фиксированы, то . С целью изучения сходимости в случае различных амплитуд были взяты четыре независимые выборки значений амплитуд из распределения, заданного гистограммой для 9-й гармоники на рис.17 в монографии Р.Н. Карякина [9, с.40]. Объемы выборок – 10 наблюдений. Выборки приведены в табл.1. В каждом случае рассчитаны оценки  для первых m элементов выборки, m = 2, 3, …, 10. Таким образом, табличные значения одной строки зависимы между собой, но строки независимы. Программирование и расчеты осуществлены С.Ю. Адамовым. 
	Из табл. 8.12 видно, что существенные различия между амплитудами приводят к возрастанию , однако при росте числа электровозов n это возрастание становится все менее существенным. Так, для n > 6 максимальное табличное значение равно 0,040, т.е. при n > 6 имеем основания полагать, что
		(8.32)
для подавляющего большинства реальных ситуаций. Замена 1 на 0,926 в методиках защиты проводных линий связи сулит значительный экономический эффект. Кроме (8.32), данные табл.1 позволяют дать ряд других полезных практических рекомендаций. 
	Замечание. Предположение о равномерности распределения фазы  использовалось выше лишь при выводе соотношений (8.17) и (8.29). Поэтому все результаты настоящего раздела, кроме (8.29), справедливы для любых распределений фаз, удовлетворяющих соотношениям (8.17). В частности, для различных электровозов распределения могут быть различными. 

Литература

1. Неуймин Я.Г. Модели в науке и технике. История, теория, практика. - Л.: Наука, 1984. - 190 с.
2. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. - М.: Мир, 1975. - 500 с.
3. Орлов А.И. Теория принятия решений. – М.: Экзамен,2006. – 576 с.
4. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
5. Моисеев Н.Н. Математические задачи системного анализа. - М.: Наука, 1981. - 488 с.
6. Нейман Дж. фон, Моргенштейн О. Теория игр и экономическое поведение. - М.: Наука, 1970. – 425 с.
7. Лотов А.В. Введение в экономико-математическое моделирование. - М.: Наука, 1984. – 392 с.
8. Носовский Г.В., Фоменко А.Т. Введение в новую хронологию (Какой сейчас век?) - М.: КРАФТ+ЛЕАН, 1999. - 768 с.
9. Карякин Р.Н. Резонанс в тяговых сетях и его демпфирование. – М.: Высшая школа, 1961. – 231 с.
10. Крамер Г. Математические методы статистики (2-е изд.). – М.: Мир, 1975. – 648 с.

Контрольные вопросы и задачи 
 
1. Назовите основные виды переменных, используемых в математических моделях.
2. Какие виды математических моделей обычно выделяют?
3. Почему среднюю ожидаемую продолжительность предстоящей жизни считают наиболее адекватной характеристикой здоровья и уровня жизни населения?
4. Какие выводы о возможном изменении численности населения России в течение ближайших 50 лет можно сделать на основе рассмотренных в разделе 8.2 демографических моделей?
5. На складе хранится некоторая продукция, пользующаяся равномерным спросом. За 1 день со склада извлекается 0,5 т продукции, плата за хранение 1 т продукции в день – 2 тыс. руб.,  плата за доставку одной партии – 50 тыс. руб. Планирование производится на 21 день. На сколько процентов затраты в плане Вильсона (объем партии определяется по формуле квадратного корня) превышают затраты в оптимальном плане? 
6. Оцените увеличение затрат в плане Вильсона (объем партии определяется по формуле квадратного корня) по сравнению с оптимальным планом за целое число периодов, если размер партии отличается от оптимального не более чем на 5%.
7. Каким образом концепция асимптотически оптимального плана позволяет решить проблему горизонта планирования?
8. В чем состоит основной вклад математики при разработке модели планирования оптимальных размеров поставок и начального запаса?
9. В чем состоит основная идея компьютерно-статистического подхода к построению хронологии?
10. В каком случае два исторических периода считают «дубликатами»?
11. Какие методики обнаружения «дубликатов» Вы знаете?
12. Расскажите о вероятностно-статистической модели, предназначенной для изучения помех, создаваемых электровозами.

Темы докладов, рефератов, исследовательских работ

1. Классификация математических моделей.
2. Математическое моделирование и «математическая экономика».
3. «Точки роста» в теории и практике математического моделирования.
4. Роль нечисловых переменных в современных математических моделях решений. 
5. Средние величины для основных характеристик (смертности, рождаемости, продолжительности жизни) в демографических моделях.
6. Экономико-математическое моделирование работы промышленного предприятия.
7. Применение теории массового обслуживания при моделирования работы организаций сферы массовых услуг (телефонных сетей, магазинов и др.).
8. Специфика решения задачи оптимизации при анализе классической модели работы склада.
9. В каком смысле оптимальна двухуровневая модель управления запасами?
10. Современная логистика в системе организационно-экономических методов управления организацией. 
11. Реконструкция исторических событий в соответствии с компьютерно-статистической хронологией.
12. Методологическое значение компьютерно-статистической хронологии.
13. Статистическое моделирование с использованием датчиков псевдослучайных чисел (метод Монте-Карло).
14. Методы проверки качества датчиков псевдослучайных чисел.